Партнер Anthropic и исследовательский центр AE Studio в среду опубликовал метод изоляции опасных знаний в моделях ИИ с использованием дискретных съемных модулей. Технология, получившая название «Вспомогательные модули с градиентной маршрутизацией» (GRAM), предназначена для улучшения управления рисками двойного назначения при сохранении общей производительности моделей ИИ.
GRAM добавляет небольшие вспомогательные нейронные отсеки к стандартной архитектуре трансформатора. Каждый отсек посвящен определенной категории конфиденциальных знаний, таких как вирусология, кибербезопасность или ядерная физика. Удаление модуля заставляет модель вести себя так, как будто она никогда не обучалась на этих конкретных данных, а активация модуля обеспечивает доступ к содержащимся в ней знаниям.
Исследователи обучили модель с 800 миллионами параметров, используя смесь веб-текста, кода, научных статей и четырех областей двойного назначения: вирусологии, кибербезопасности, ядерной физики и специального кода. Данные двойного назначения составили примерно 0,25% обучающих данных для каждой области. Результаты показали, что удаление модулей GRAM было почти так же эффективно, как и отсутствие обучения на данных вообще. Модель поддерживала общую производительность, близкую к базовому уровню, установленному с учетом всех включенных данных.
Этот подход оказался устойчивым к состязательной тонкой настройке и отличался от методов постфактумного отучения, которые обычно лишь подавляют знания, а не уничтожают их. Исследование проводится в трудный период для управления ИИ, поскольку администрация Трампа на мгновение ввела экспортный контроль над моделями Claude от Anthropic из-за проблем национальной безопасности, связанных с потенциальными уязвимостями.
Эти ограничения были сняты 30 июня после того, как Anthropic сотрудничала с Министерством торговли для устранения выявленных рисков. GRAM может предложить золотую середину в разработке политики, позволяя осуществлять детальный контроль доступа вместо того, чтобы запрещать целые модели или полагаться исключительно на поведенческие барьеры.
Однако исследователи отметили, что их выводы носят предварительный характер и еще не реализованы в серийных моделях Anthropic. Они подняли вопросы о масштабируемости GRAM для более сложных моделей и потенциальных трудностях отделения запутанных знаний от более общих возможностей. Исследование проводилось под руководством AE Studio при участии Джема Анила и Алекса Клауда из Anthropic.
<час />
