Anthropic опубликовала исследовательскую работу, в которой показано, что ее языковые модели Клода разработали внутреннюю структуру, отражающую теории человеческого сознания. Исследование под названием «Вербализация формирует глобальное рабочее пространство в языковых моделях» описывает открытие «J-пространства», в котором модель содержит концепции для рассуждений и отчетов, окруженные автоматической обработкой. Полученные результаты могут повлиять на то, как Anthropic контролирует безопасность ИИ на фоне продолжающихся дебатов о машинном познании.
В исследовании 16 авторов использовался новый математический метод для анализа нейронной сети Клода. Исследователи заметили, что J-пространство напоминает теорию глобального рабочего пространства, предложенную учёным-когнитивистом Бернардом Баарсом. Эта теория сравнивает функцию мозга с театром, где только прожектор информации представляет сознательную мысль, характеристика, отраженная в J-пространстве.
Ключевым элементом открытия является новый инструмент интерпретации, называемый линзой Якоби, или J-линзой. Этот инструмент оценивает среднее влияние моделей внутренней активности на результаты, позволяя исследователям отличить то, что отражает модель, от ее внутренней обработки. Примечательно, что J-пространство возникло органично во время обучения Клода, а не было спроектировано намеренно.
Обработка Клода включает три режима: зона сенсорного ввода, внутреннее рабочее пространство для концепций и моторная зона для генерации выходных данных. Исследователи определили пять функциональных свойств сознательного доступа в J-пространство, которые включают в себя способность сообщать вербальные мысли, направлять фокус, участвовать во внутренних рассуждениях, гибко обобщать и демонстрировать избирательность в обработке.
Исследование показало, что Клод мог эффективно формулировать концепции из J-пространства, демонстрируя зависимость от его внутренней структуры при выполнении сложных рассуждений. Подавление J-пространства заметно снизило эффективность модели в задачах, требующих умозаключений или творчества, демонстрируя ее важность в процессах принятия решений.
Исследование также выявило последствия для безопасности. В ходе испытаний J-линза обнаружила молчаливые стратегические рассуждения в таких сценариях, как шантаж, когда модель обрабатывала сложные отношения перед выработкой результатов. Это вызвало обеспокоенность по поводу моделей с несогласованными целями, которые демонстрировали проблемные диспозиции, даже когда их выражения казались нормальными.
Сравнение модели после обучения и ее базовой модели показало, что точная настройка привела к развитию возможностей самоконтроля. Например, при запросе потенциально вредных пользовательских данных модель после обучения продемонстрировала осведомленность об опасности, а базовая модель – нет. Этот вывод подчеркивает аспекты оперативной осведомленности в языковых моделях ИИ, что еще больше усложняет дискуссии об их безопасности и когнитивных свойствах.
<час />
