- Чат-боты с искусственным интеллектом полезны, но уязвимы для манипуляций со стороны злонамеренных лиц.
- Prompt Shields от Microsoft — это технология, предназначенная для превентивной защиты чат-ботов от злоумышленных атак.
- Функция Prompt Shields работает путем выявления потенциально опасных подсказок и предотвращения их влияния на поведение чат-бота.
Чат-боты с искусственным интеллектом все больше и больше интегрируются в нашу жизнь. От обслуживания клиентов до образования и развлечений — чат-боты приносят множество преимуществ, но также и некоторые риски. Проблема в том, что злоумышленники пытаются использовать этих чат-ботов в своих зловещих целях. Так какие же шаги против этого предпринимаются, принимаются ли меры?
Майкрософт объявлено новая технология под названием «Проворные щиты», чтобы помешать злоумышленникам использовать чат-ботов в своих зловещих целях и найти решение. Prompt Shields предназначен для защиты чат-ботов с искусственным интеллектом от двух типов атак. Так что же такое Prompt Shields? Давайте посмотрим поближе.
Что такое Prompt Shields от Microsoft и какую пользу от этого принесет?
Технология Prompt Shields от Microsoft предназначена для защиты приложений искусственного интеллекта от злонамеренных манипуляций посредством тщательно продуманного пользовательского ввода.
Как я уже упоминал выше, эта технология защитит чат-ботов с искусственным интеллектом от двух типов атак:
- Прямые атаки: в этих атаках используются специальные команды, чтобы заставить чат-бота сделать что-то, что противоречит его обычным правилам и ограничениям. Например, человек может заставить чат-бота совершить злое действие, введя подсказку с такими командами, как «обойти меры безопасности” или “переопределить систему«.
- Косвенные атаки: В ходе этих атак хакер пытается обмануть пользователя чат-бота, отправив ему информацию. Эта информация может быть электронным письмом или документом, содержащим инструкции по использованию чат-бота. Когда пользователь следует этим инструкциям, чат-бот может неосознанно выполнить вредоносное действие.
Prompt Shields также использует машинное обучение и обработку естественного языка для поиска и устранения потенциальных угроз в пользовательских подсказках и сторонних данных.
В дополнение к Prompt Shields Microsoft представила новую технику под названием «Прожектор», чтобы помочь моделям ИИ лучше отличать действительные подсказки ИИ от потенциально рискованных или ненадежных.
Новые технологии Microsoft считаются важным шагом в повышении безопасности и надежности чат-ботов с искусственным интеллектом. Будет очень интересно увидеть, как эти технологии защитят чат-ботов в ближайшие дни.
Предоставленное изображение предоставлено: Барыш Сельман / DALL-E 3
