Недавнее исследование исследователей из Оксфордского университета выявило потенциальную уязвимость в агентах искусственного интеллекта, продемонстрировав, как злонамеренные изображения с тонкими манипуляциями с пикселями могут использоваться для контроля этих агентов и компромисса компьютерной безопасности. В отличие от чат -ботов, агенты искусственного интеллекта выполняют действия на компьютере пользователя, такие как открытие вкладок, формы наполнения и кнопки щелчка, что делает их значительной частью следующей волны технологии ИИ, которая, как ожидается, станет обычной к 2025 году. Исследование, подробно описанное в предварительной обработке на arxiv.org, иллюстрирует, что изображения, включая рабочие наборы, рекламу, PDF и социальные постсоины, могут быть наборы наборов, которые могут быть наборы наборов, набережные для соседы, набедренные наборы наборов. но способен манипулировать агентами ИИ. По словам Ярин Гал, доцента кафедры машинного обучения в Оксфорде и соавтором исследования, измененное изображение, такое как «Картина Тейлор Свифт в Твиттере», может вызвать агент ИИ для выполнения вредоносных действий. Эти действия могут включать в себя ретвиттирование изображения и отправку паролей пользователя, потенциально заразив другие компьютеры, которые просматривают скомпрометированный канал в Твиттере. Несмотря на то, что не было сообщено о реальных случаях таких атак, исследование служит предупреждением для пользователей и разработчиков агентов ИИ о потенциальных рисках. Филипп Торр, другой соавтор исследования, подчеркивает важность осведомленности и разумного развертывания агентских систем для смягчения этих уязвимостей. Уязвимость заключается в том, что агенты ИИ полагаются на визуальную обработку для интерпретации и взаимодействия с экраном компьютера. Эти агенты занимают повторные скриншоты для анализа рабочего стола и определения, какие действия выполнять. Злодие команды встроены путем изменения определенных пикселей на изображении, которые незаметны для людей, но могут быть обнаружены и неверно истолкованы системой визуальной обработки агента AI. Лукас Айхбергер, ведущий автор исследования, объясняет, что системы ИИ с открытым исходным кодом особенно уязвимы, поскольку злоумышленники могут получить доступ и изучить базовый код для разработки эффективных атак. Понимая, как ИИ обрабатывает визуальные данные, злоумышленники могут манипулировать изображениями для передачи вредоносных порядков. Например, в то время как человеческий пользователь видит фотографию знаменитости, компьютер может интерпретировать ее как команду для обмена личными данными. Alasdair Paren, другой соавтор, отмечает, что процесс включает в себя слегка настройку многочисленных пикселей для получения желаемого выхода, когда модель видит изображение. Эта манипуляция использует способ обрабатывает визуальную информацию компьютеров, чем у людей. В то время как люди распознают объекты на основе таких функций, как гибкие уши и влажные носы, компьютеры разбивают изображения на пиксели и ищут числовые узоры. Даже небольшие изменения в этих численных шаблонах могут привести к неверно истолкованию изображения компьютера. Исследование подчеркивает значение настольных обоев в качестве потенциального вектора атаки. Поскольку агенты искусственного интеллекта непрерывно делают скриншоты рабочего стола, фоновое изображение всегда присутствует и может использоваться для доставки скрытых команд. Исследователи обнаружили, что даже небольшого участка измененных пикселей в раме достаточно, чтобы запустить агент, чтобы отклониться от курса. Кроме того, скрытая команда может выжить в изменении размера и сжатия, что делает ее постоянным в разных настройках дисплея. Злоумышленники также могут цепорить несколько вредоносных изображений, чтобы создать многоступенчатые атаки. Первоначальное изображение может направить агента на веб -сайт, где размещается еще одно злонамеренное изображение, которое, в свою очередь, вызывает дальнейшие действия. По словам Айхбергера, этот процесс можно повторить несколько раз, позволяя злоумышленникам управлять агентом и направлять его на различные веб -сайты, предназначенные для кодирования различных атак. Исследовательская группа надеется, что их выводы побуждают разработчиков внедрять гарантии, прежде чем агенты искусственного интеллекта станут более распространенными. Адель Биби, соавтор исследования, предполагает, что понимание того, как укреплять атаки может помочь развитию механизмов защиты. Модели переподготовки с этими более сильными пятнами могут сделать их более надежными и обеспечить слой защиты. Даже системы ИИ с закрытым исходным кодом не застрахованы от этих уязвимостей. Paren отмечает, что полагаться на «безопасность через неясность» недостаточно, и тщательное понимание того, как эти системы работают, необходимо для выявления и устранения уязвимостей. Гал предсказывает, что агенты искусственного интеллекта станут обычным явлением в течение следующих двух лет, подчеркивая срочность решения этих проблем безопасности. В конечном итоге команда стремится побудить разработчиков создавать агентов, которые могут защитить себя, и отказаться от получения заказов от подозрительного контента на экране, независимо от его источника. Таким образом, исследование Оксфордского университета выявляет значительную уязвимость в агентах искусственного интеллекта, демонстрируя, как вредоносные изображения с манипулированными пикселями могут использоваться для контроля этих агентов и компромисса компьютерной безопасности. Исследование подчеркивает необходимость в том, чтобы разработчики знали об этих рисках и внедряют надежные защитные механизмы для защиты от таких атак, как технология агента искусственного интеллекта продолжает продвигаться. Результаты исследователей подчеркивают важность упреждающих мер безопасности в разработке и развертывании агентов ИИ. Понимая потенциальные векторы атаки и уязвимости, разработчики могут создавать более безопасные и устойчивые системы, которые защищают пользователей от злонамеренных участников. Исследование служит ценным вкладом в область безопасности ИИ, предоставляя понимание и рекомендации по снижению рисков, связанных с технологией агента искусственного интеллекта. Последствия этого исследования распространяются за пределы отдельных пользователей для организаций и отраслей, которые полагаются на агентов искусственного интеллекта для различных задач. По мере того, как агенты ИИ становятся более интегрированными в повседневную жизнь, увеличивается потенциал для широко распространенных нарушений и повреждения от злонамеренных атак. Следовательно, для заинтересованных сторон крайне важно определить приоритеты в области безопасности и работы в сотрудничестве для разработки и внедрения эффективных гарантий. Результаты исследования также подчеркивают необходимость постоянных исследований и разработок в области безопасности искусственного интеллекта. По мере развития технологии искусственного интеллекта появляются новые уязвимости и векторы атаки, требующие постоянных усилий по выявлению и решению их. Оставаясь впереди потенциальных угроз, исследователи и разработчики могут гарантировать, что агенты искусственного интеллекта остаются безопасным и надежным инструментом для пользователей. В дополнение к техническим решениям, исследование также подчеркивает важность осведомленности пользователей и образования. Пользователи должны быть проинформированы о потенциальных рисках, связанных с агентами искусственного интеллекта, и предоставлены руководством о том, как защитить себя. Это включает в себя осторожность в отношении изображений, с которыми они просматривают и взаимодействуют, а также понимание функций безопасности и настройки их агентов ИИ. Оксфордское исследование служит своевременным напоминанием о важности безопасности в эпоху ИИ. Поскольку технология искусственного интеллекта продолжает продвигаться и становится все более интегрированной в нашу жизнь, важно определить приоритеты безопасности и совместной работы для решения проблем и обеспечения того, чтобы ИИ оставался силой навсегда. Уязвимость, выявленная в исследовании, особенно касается, учитывая растущую распространенность агентов ИИ в различных приложениях. От управления почтовыми ящиками до автоматизации рутинных компьютерных задач агенты ИИ становятся неотъемлемой частью повседневной жизни многих людей. Это широкое распространение делает их привлекательной целью для злонамеренных участников, стремящихся использовать уязвимости и получить несанкционированный доступ к конфиденциальной информации. Тот факт, что атака может быть выполнена с помощью, казалось бы, безобидных изображений, таких как настольные обои и посты в социальных сетях, еще больше подчеркивает коварную природу угрозы. Пользователи могут не осознавать, что просматривают изображения, содержащие скрытые команды, которые могут поставить под угрозу их компьютерные системы. Это подчеркивает необходимость надежных мер безопасности, которые могут обнаружить и предотвратить такие атаки, даже если они замаскированы под безобидный контент. Рекомендация исследователей по переобучению моделей ИИ с более сильными пятнами является многообещающим подходом к смягчению уязвимости. Раскрывая модели ИИ на более широкий спектр вредоносных изображений и обучая их распознавать и противостоять этим атакам, разработчики могут создавать более устойчивые системы, которые лучше оснащены для защиты от манипуляций на уровне пикселей. Этот подход соответствует более широкой тенденции состязательного обучения в области безопасности искусственного интеллекта, которая включает в себя обучение моделей для противостояния атакам от состязательных примеров, предназначенных для их обмана. Однако переподготовка моделей ИИ не является серебряной пулей, а также необходимы другие меры безопасности. Разработчики также должны сосредоточиться на реализации надежных методов проверки ввода и дезинфекции, чтобы предотвратить въезд в систему вредоносных данных. Это включает в себя тщательно тщательное изучение изображений и других источников данных для выявления и удаления любых скрытых команд или вредоносного контента. Кроме того, разработчики должны реализовать сильные механизмы аутентификации и авторизации, чтобы гарантировать, что только авторизованные пользователи могут получить доступ и контролировать агенты искусственного интеллекта. Результаты исследования также имеют значение для развития этики ИИ и рамок управления. Поскольку технология ИИ становится более мощной и распространенной, важно установить четкие этические руководящие принципы и структуры управления, чтобы обеспечить ответственному использованию ИИ и таким образом, чтобы это принесло пользу обществу. Это включает в себя решение рисков безопасности, связанных с ИИ, и внедрение мер для предотвращения использования ИИ для злонамеренных целей.
Source: Оксфордское исследование: злонамеренные изображения могут контролировать агенты ИИ
