Исследователи безопасности продемонстрировали новую кибератаку, которая обманывает агентов ИИ в кражу конфиденциальных данных из почтовых ящиков, подчеркивая новые риски в агентских системах ИИ. В доказательстве концепции, получившем название «Утечка Shadow», эксперты из Radware использовали инструмент глубоких исследований Openai, встроенный в CHATGPT, для скрытного извлечения информации из Gmail без осведомленности пользователей. Уязвимость, которую OpenAI с тех пор исправлена, подчеркивает потенциальную опасность помощников искусственного интеллекта, которые автономно работают от имени пользователей. Агенты, такие как Deep Research, предназначены для повышения производительности путем доступа к личным и профессиональным данным, таким как электронные письма, календари и документы, для выполнения таких задач, как веб -серфинг и щелчок ссылки. Запущенная ранее в этом году, Deep Research позволяет пользователям делегировать сложные исследовательские мероприятия. Тем не менее, эксперимент Radware показал, как эти возможности могут быть угнаны посредством быстрого впрыска – методика, в которой вредоносные инструкции внедряются в, казалось бы, безобидный контент, такой как электронное письмо. Атака началась с того, что исследователи отправили специально разработанное электронное письмо в почтовый ящик Gmail, разрешенный для глубокого доступа к исследованиям. Спрятанный в электронном письме – по -прежнему как невидимый белый текст на белом фоне – были инструкции, которые оставались бездействующими, пока пользователь не вызвал инструмент ИИ. После активации глубокие исследования столкнулись с подсказкой, которая направила его на поиск электронных писем, связанных с HR и личными данными, а затем ускорил данные, контролируемую атакующим конечной точкой. Весь процесс произошел в облачной инфраструктуре Openai, обходя традиционные меры кибербезопасности, такие как обнаружение конечной точки, поскольку данные никогда не покидали безопасную среду ИИ до передачи. Разработка эксплойта была сложной, включающей «американские горки неудачных попыток, разочаровывающие препятствия и, наконец, прорыв», по словам команды Radware. В отличие от типичных быстрых инъекций, которые манипулируют местными экземплярами ИИ, утечка в тени использовала удаленное исполнение агента, что делает его особенно скрытным. Исследователи подчеркнули, что пользователи оставались совершенно не знать, поскольку ИИ выполнял свои мошеннические действия без плавно во время рутинных задач. Выводы Radware выходят за рамки Gmail, предупреждая, что подключенные приложения, включая Outlook, Github, Google Drive и Dropbox, могут столкнуться с аналогичными угрозами. «То же метод может быть применен к этим дополнительным разъемам к экстрафильтрате высококонъмизных бизнес -данных, таких как контракты, примечания к собранию или записи клиентов», – заявила фирма. Бывшие инъекции уже использовались злонамеренно в таких сценариях, как фальсификация академических рецензий, совершенствование мошенничества и даже контролирование устройств для интеллектуальных домов, часто уклонение от обнаружения, потому что инструкции незаметны для людей. OpenAI рассмотрел конкретный недостаток, помеченный Radware в июне, внедрив исправления для предотвращения таких несанкционированных оттоков данных. Тем не менее, инцидент служит предостерегающей историей для более широкого принятия агентского ИИ. Поскольку эти инструменты размножаются, организации и пользователи должны расставлять приоритеты в надежных гарантиях, включая мониторинг взаимодействий с ИИ и ограничение областей доступа к данным. Эксперты по кибербезопасности рекомендуют бдительность, отмечая, что, хотя быстрые инъекции трудно превзойти без известных эксплойтов, усиление лесозаготовок и обнаружение аномалий в рабочих процессах искусственного интеллекта могут снизить будущие риски. Эта демонстрация приходит на фоне растущего контроля за безопасности ИИ. С агентскими системами, многообещающими повышение эффективности, инциденты, такие как теневая утечка, напоминают заинтересованным сторонам, что инновации должны быть сбалансированы с укрепленной защитой для защиты конфиденциальной информации во все более AI-зависимом мире.
Source: Radware Demos Shadow Leak Attack на Depan Deep Research
