Google подтвердил предупреждение Gmail о новой атаке, управляемой AI, способной компромисс с учетами Gmail. Эта атака использует быстрые методы впрыска, спрятанные в электронных письмах, сообщениях, веб -сайтах, вложениях и приглашениях календаря. Уязвимость была подчеркнута Эйто Миямурой, который продемонстрировал, как можно манипулировать CHATGPT, чтобы утечь личные данные по электронной почте жертвы, используя только свой адрес электронной почты. Согласно Миямуре, «агенты искусственного интеллекта, такие как CHATGPT, следуют вашим командам, а не в вашем здравом смысле», подчеркивая потенциал для эксфильтрации данных. Google ранее предупредил об этом типе угрозы в июне, характеризуя ее как «новую волну угроз», направленную на манипулирование системами ИИ. Эти угрозы включают в себя вредоносные инструкции, встроенные в электронные письма, документы или календарь, которые заставляют ИИ извлекать пользовательские данные или выполнять несанкционированные действия. Продемонстрированная атака является доказательством концепции, инициируемое приглашением злонамеренного календаря, которое не требует принятия от жертвы. Когда Chatgpt будет проинструктировано подготовить пользователя к их дню, просмотрев их календарь, помощник искусственного интеллекта «угнает злоумышленник и будет действовать по команде злоумышленника, поиск ваших личных электронных писем и отправляет данные на электронное письмо злоумышленника», согласно отчетам. Чтобы смягчить этот риск, Google советует пользователям включить настройку «известных отправителей» в календаре Google. Эта мера помогает предотвратить автоматическое появление вредоносных или спам -событий в сетке календаря. Государства Google: «Мы обнаружили, что это особенно эффективный подход, чтобы помочь пользователям предотвратить злонамеренные или спам -события, появляющиеся в их календарной сетке. Конкретное приглашение календаря не приземлилось бы автоматически, если бы пользователь не имел предварительного взаимодействия с плохим субъектом или не изменило бы настройки дефолта». Google также подчеркивает важность обеспечения моделей ИИ от таких атак. Компания утверждает, что «наше модельное обучение с помощью состязательных данных значительно улучшило нашу защиту от косвенных оперативных атак в инъекциях в моделях Gemini 2.5», хотя эта конкретная атака не включала Близнецы. Кроме того, Google реализует фильтры для обнаружения быстрых атак впрыска. Это «развертывание моделей проприетарного машинного обучения, которые могут обнаружить вредоносные подсказки и инструкции в различных форматах, таких как электронные письма и файлы». Эти модели направлены на выявление и игнорирование вредоносных инструкций в рамках электронных писем, генерируя безопасные ответы для пользователей. Google подчеркивает, что встроенная защита Gmail уже блокирует более 99,9% спама, попыток фишинга и вредоносного ПО. Компания приводит пример электронного письма, который включает в себя вредоносные инструкции; наши классификаторы контента помогают обнаружить и игнорировать вредоносные инструкции, а затем генерировать безопасный ответ для пользователя ». Миямура предупреждает, что, несмотря на интеллект ИИ, он остается уязвимым для манипуляций и фишинга, что может привести к утечкам данных. Он предупреждает: «ИИ может быть супер умным, но может быть обманут и посвящен невероятно глупым способам протечь ваших данных». Google утверждает, что эта угроза «не является специфической для Google», подчеркивая общеотраслевую важность разработки надежной защиты от быстрых атак впрыска.
Source: Gmail предупреждает о нападениях ИИ с помощью быстрого инъекции
