AIM Security Ltd. сегодня раскрыла подробности первой известной уязвимости искусственного интеллекта с нулевым кликом, названным «Echoleak», который нацелен на инструмент Microsoft Corp. Generation Generative AI 365. Уязвимость могла позволить злоумышленникам экстрафильтратировать чувствительные внутренние данные без какого -либо взаимодействия с пользователем.
Уязвимость была обнаружена в январе и быстро сообщена Microsoft. AIM Security раскрыла подробности только сейчас, после реализации Microsoft.
EchoLeak описывается AIM Security как «нарушение объема охвата LLM». Это относится к сценариям, в которых можно манипулировать большой языковой моделью, чтобы утечь информацию за пределами ее предполагаемого операционного контекста. В этом конкретном случае уязвимость включала в себя создание вредоносной электронной почты, содержащей конкретный синтаксис отметки, предназначенный для обхода защиты атаки Microsoft по перекрестной промежутке.
В злонамеренной отметки использовалась форматы изображения и ссылок в стиле справочного материала. Этот метод позволил полезной нагрузке обойти фильтры дезинфекции Copilot, гарантируя, что она оставалась нетронутой, когда помощник по искусственному искусству забрал и обрабатывал электронное письмо.
Затем эксплойт использовал собственные достоверные домены Microsoft, такие как SharePoint и команды, которые белые списки находятся в соответствии с политикой безопасности Copilot в области безопасности контента. Эти домены могут использоваться для встраивания внешних ссылок или изображений, которые автоматически запускают исходящие запросы при отображении с помощью Copilot. Злоумышленники могут создать эти ссылки на то, чтобы включить конфиденциальные данные, полученные из контекста Copilot, перенаправляя контент на сервер, который они контролировали.
Критическим аспектом эхолека, выявленным исследователями AIM, является его природа с нулевым кликом. Атака происходит полностью в фоновом режиме без какого -либо взаимодействия с пользователем. Автоматическая обработка электронного письма от Copilot была достаточной, чтобы инициировать и завершить цепочку эксплойтов.
AIM Security опубликовала подтверждение концепции, демонстрирующее, что такие данные, как внутренние записки, стратегические документы или личные идентификаторы, могут быть скрыты без какого-либо видимого уведомления пользователю или системным администраторам.
Microsoft признала эту проблему, но заявила, что не нашла никаких доказательств того, что уязвимость эксплуатируется в дикой природе.
Хотя отсутствие эксплуатации в силе является положительным, существование уязвимостей с нулевым кликом в службах ИИ подчеркивает будущие риски. Эксперты по кибербезопасности не были полностью удивлены появлением таких методов.
Тим Эрлин, стратег безопасности в Wallarm Inc., прокомментировал: «Если бы вы не ожидали, что что-то подобное произойдет, вы не обращали внимания. Хотя конкретная техника, возможно, не была бы предсказуемой, идея о том, что исследователи не нашли бы какого-то значимого, нового подвига для постоянно эксплуатационной атаки AI, является смешной. Это было связано с Microsoft. Исследователи, по-видимому, обрабатывают это, с учетом, с рекрепировкой, с этим.
Ensar Seker, CISO в Socradar Cyber Wreath Intelligence Inc., предупредил, что раскрытие имеет «серьезные последствия для НАТО, правительства, обороны, здравоохранения и любого, кто использует ассистенты по ИИ предприятия: злоумышленникам больше не нуждается в компромиссных инструментах пользователей или полагается на фишинг. Они могут манипировать доверительным интерфейсом ИИ».
Секер также подчеркнул, что проблема потенциально выходит за рамки Copilot. «Особенно выделяется то, что это не ограничивается копированием», – сказал он. «Как предупреждает AIM Labs, любой агент, основанный на RAG, который обрабатывает ненадежные входные данные наряду с внутренними данными, уязвим для нарушений охвата. Это сигнализирует о более широком архитектурном недостатках в пространстве помощника ИИ-тот, который требует ограждений времени выполнения, более строгих входных областей и инфекционного разделения между надежным и безваленным содержанием».
Source: Уязвимость AI Zero Click, обнаруженная в Microsoft Copilot
