Microsoft выпустила инструмент с открытым исходным кодом, который создан, чтобы помочь разработчикам оценить безопасность систем искусственного интеллекта, над которыми они работают. Он называется проектом Counterfit и теперь доступен на GitHub.
Сама компания из Редмонда уже использовала Counterfit для тестирования собственных моделей искусственного интеллекта в красной команде компании. Кроме того, другие подразделения Microsoft также изучают возможность использования этого инструмента в разработке ИИ.
Microsoft имитирует кибератаки с помощью Counterfit
Согласно сообщениям Microsoft на GithubУ Counterfit есть инструмент командной строки и общий уровень автоматизации для оценки безопасности систем машинного обучения.
Это позволяет разработчикам имитировать кибератаки на системы ИИ для проверки безопасности. Любой может загрузить инструмент и развернуть его через Azure Shell, для запуска в браузере или локально в среде Anaconda Python.
«Наш инструмент делает опубликованные алгоритмы атак доступными для сообщества специалистов по безопасности и помогает предоставить расширяемый интерфейс для создания, управления и запуска атак на модели искусственного интеллекта», – заявили в Microsoft.
Инструмент поставляется с предустановленными примерами алгоритмов атаки. Кроме того, специалисты по безопасности также могут использовать встроенный механизм сценариев cmd2 для подключения к Counterfit из других существующих атакующих инструментов в целях тестирования.
Согласно ITPro, Microsoft разработала инструмент из-за необходимости оценить свои системы на наличие уязвимостей. Counterfit начинался как сценарии атаки, написанные для атаки на отдельные модели ИИ, и постепенно превратился в инструмент автоматизации для атаки на несколько систем.
Компания заявляет, что работала с несколькими своими партнерами, клиентами и государственными учреждениями над тестированием инструмента с моделями ИИ в их средах.
