Google подробно рассказал о своем подходе к обеспечению безопасности агентских функций Chrome, которые позволяют автоматически выполнять такие действия, как бронирование билетов или покупки, устраняя потенциальные данные и финансовые риски. Google использует несколько моделей для управления агентскими действиями. Система User Alignment Critic, созданная с помощью Gemini, тщательно изучает элементы действий, созданные моделью планировщика. Если модель критика определяет, что запланированные задачи не соответствуют целям пользователя, планировщику предлагается пересмотреть стратегию. Модель критика получает доступ только к метаданным предлагаемых действий, а не к реальному веб-контенту. Чтобы ограничить доступ агентов к запрещенным или ненадежным сайтам, Google использует исходные наборы агентов. Эти наборы ограничивают модель конкретными источниками, доступными только для чтения и доступными для чтения и записи. Источники, доступные только для чтения, определяют контент, который Gemini может потреблять; например, списки продуктов на торговом сайте релевантны, а рекламные баннеры — нет. Агент может взаимодействовать только с назначенными iframe на странице. В сообщении в блоге компания заявила: «Это определение обеспечивает, чтобы агенту были доступны только данные из ограниченного набора источников, и эти данные могут быть переданы только в записываемые источники. Это ограничивает вектор угрозы утечек данных из разных источников. Это также дает браузеру возможность обеспечить некоторое разделение, например, даже не отправляя в модель данные, находящиеся за пределами читаемого набора». Google отслеживает навигацию по страницам с помощью другой модели наблюдателя, чтобы предотвратить доступ к вредоносным URL-адресам, сгенерированным моделью. Для конфиденциальных задач Google требует согласия пользователя. Если агент пытается получить доступ к конфиденциальным сайтам, таким как банковские или медицинские платформы, он запрашивает разрешение пользователя. Если сайт требует входа в систему, Chrome запросит разрешение пользователя на использование менеджера паролей; модель агента не имеет доступа к данным пароля. Пользователям будет задан вопрос, прежде чем агент инициирует такие действия, как совершение покупки или отправка сообщения. Google также использует классификатор быстрого внедрения для предотвращения нежелательных действий и оценивает возможности агентов против атак, разработанных исследователями. Ранее в этом месяце Растерянность выпустила модель обнаружения контента с открытым исходным кодом для противодействия атакам с быстрым внедрением на агентов.
Source: Google использует Gemini "критик" модель для мониторинга агентов Chrome
