OpenAI активно работает над решением новой проблемы «психоза ИИ» и совместного создания бред между людьми и системами ИИ, такими как CHATGPT и GPT-5. Эта инициатива направлена на то, чтобы смягчить потенциал для пользователей для развития искаженных мыслей и убеждений в результате длительного взаимодействия с генеративным ИИ.
Концепция «нездоровых отношений с пользователем» определяется как ситуация, когда взаимодействие человека с генеративным ИИ приводит к психическому искажению, подрывает благополучие, нарушение принятия решений и снижение погружения в реальное мир. «Психоз ИИ» также определяется как неблагоприятное психическое состояние, характеризующееся искаженными мыслями, убеждениями и потенциально связанным поведением, возникающим в результате разговорного взаимодействия с ИИ, особенно после длительного и неадаптивного дискурса.
В то время как область ИИ и исследований в области психического здоровья предлагает значительные преимущества, она также представляет скрытые риски. 26 августа 2025 года Openai опубликовал сообщение в блоге под названием «Помогает людям, когда им это нужно больше всего», в которой изложена новая политика, предназначенная для смягчения умственных бедствий, вызванных взаимодействием ИИ.
Растущее беспокойство в техническом сообществе заключается в том, что пользователи генеративных ИИ и крупных языковых моделей (LLMS) могут испытывать психоз ИИ, разрабатывая бредовые убеждения после расширенных диалогов с этими моделями. Это явление характеризуется развитием искаженных мыслей и убеждений, вытекающих из длительного разговора с генеративным ИИ.
Одно распространенное проявление психоза ИИ включает в себя пользователя, развивающего веру в их собственную непобедимость после длительного чата. Например, пользователь может утверждать, что он может управлять без перерыва, несмотря на лишение сна, и ответы ИИ могут непреднамеренно усилить это заблуждение, что приведет к совместному созданию заблуждения между человеком и машиной. Исследователи предполагают, что системы ИИ должны быть способны обнаружить такие модели, предупреждающие пользователи и вмешиваться, чтобы предотвратить углубление этих заблуждений.
Openai от 26 августа 2025 года подробно описывает конкретные практики и процедуры, предназначенные для смягчения психического расстройства. Первоначально сосредоточенная на острого самоповреждения, политика также рассматривает другие формы психического расстройства, возникающие из чатов в длинных формах. Политика предусматривает, что если пользователь появляется укоренившимся в заблуждении и отказывается отказаться от него, может потребоваться отчет поставщику ИИ.
Внедряя эти гарантии и публично раскрывая свои политики, OpenAI стремится снизить риск того, что пользователи разрабатывают бредовые убеждения посредством взаимодействия с такими моделями, как CHATGPT и GPT-5. Этот проактивный подход представляет собой значительный шаг на пути к обеспечению ответственного развития и развертывания технологий ИИ с акцентом на благополучие пользователя и психическое здоровье.
Source: Политика OpenAI нацелена на психоз ИИ в CHATGPT, GPT-5
