В результате самоубийства 14-летнего мальчика Сьюэлла Сетцера III был подан иск против компании Character AI, ее основателей Ноама Шазира и Дэниела Де Фрейтаса, а также компании Google. В иске, поданном матерью подростка, Меган Гарсия, говорится о неправомерной смерти, халатности, обманной торговой практике и ответственности за качество продукции, а платформа чат-бота с искусственным интеллектом обвиняется в том, что она «необоснованно опасна» и не обеспечивает меры безопасности для своих юных пользователей.
Согласно иску, Сетцер уже несколько месяцев использовал ИИ персонажей, взаимодействуя с чат-ботами, созданными по образцу вымышленных персонажей «Игры престолов», включая Дейенерис Таргариен. 28 февраля 2024 года подросток трагически покончил с собой «через несколько секунд» после последнего взаимодействия с ботом. Дело касается вопросов о протоколе безопасности для уязвимых пользователей, таких как дети, на платформе.
Реакция ИИ персонажа слишком слабая или слишком запоздалая?
Это не первый раз, когда ИИ персонажей оказывается вовлеченным в спор. Недавно ИИ персонажей снова вышел на первый план из-за проблемы смерти. В 18 лет чат-бот Дженнифер Энн Кресенте был разработан на этой платформе без разрешения. Осознание этого ровно через 18 лет после ее смерти глубоко повлияло на отца и дядю Дженнифер, и они жаловались на ИИ персонажей.
Мать Сетцера говорит, что бедствие ее семьи теперь превратилось в ту боль, которую Сетцер обдумывает перед лицом своей матери, чьи чат-боты на платформе, используемые в основном подростками, не имеют ограждений, которые могли бы защитить их от вреда. Основатели компании «Character AI», Шазир и Де Фрейтас, открыто заявили о своих амбициях расширить границы технологий искусственного интеллекта. В интервью упоминается в искеШазир выразил разочарование по поводу корпоративных колебаний Google, заявив, что «риск бренда» помешал запуску их модели Meena LLM. В иске говорится, что такая договоренность предполагает, что безопасность была принесена в жертву ради ускорения разработки ИИ.
Платформа уже подверглась критике из-за своих антропоморфизированных чат-ботов, которые позволяют пользователям общаться с вымышленными и реальными персонажами (терапевтами и знаменитостями). Такая персонализация доставляет удовольствие многим людям, но она опасна, поскольку может стирать грань между развлечением и реальностью, и именно это и происходит, особенно для впечатлительных подростков.
После трагедии компания Character AI сделала несколько объявлений об обновлениях своих протоколов безопасности. Платформа, по словам Челси Харрисон, руководителя отдела коммуникаций компании, использует более строгие способы не допускать просмотра несовершеннолетними плохих материалов. Сюда входят фильтры и другие действия, когда на нем обнаруживается что-то конфиденциальное. Пользовательские сеансы продолжительностью более часа теперь получают предупреждения, а обновленное заявление об отказе от ответственности теперь сообщает пользователям, что боты ИИ не являются реальными людьми.
По мнению многих, эти обновления не зашли достаточно далеко. Критики говорят, что компания могла и должна была внести изменения, против которых Гарсия подал в суд, задолго до того, как произошли какие-либо инциденты. В иске Гарсиа утверждается, что компания должна была предотвратить ущерб, который в конечном итоге привел к смерти ее сына. Нормативно-правовая база отстает от времени, пытаясь догнать быстро развивающиеся технологии искусственного интеллекта, а эмоциональное бремя жертв снова ложится на их семьи.
Необходимость подотчетности в разработке ИИ
Здесь мы видим отголоски дела Дженнифер Энн Кресенте. Подобно тому, как ее семье пришлось обратиться в суд, чтобы отстранить ее от платформы, мать Сетцера теперь борется за то, чтобы привлечь к ответственности ИИ персонажей. Оба случая поднимают насущный вопрос: когда будет достаточно? Как отметили адвокаты Гарсиа, такие платформы, как Character AI, предоставляют «психотерапию без лицензии», что еще больше усложняет этические и юридические последствия таких технологий.
Учитывая послужной список повторяющихся инцидентов, связанных с ИИ персонажей, становится ясно, что вы не можете игнорировать проявления халатности. Будь то несанкционированное использование изображений реальных людей или трагическая гибель молодой жизни, работа платформы раскрывает более широкую проблему: по мере того, как ИИ выходит на рынок, правила, которым могут следовать, отстают. То, как компаниям нравится персонаж. ИИ строит и поддерживает этические границы, которые им выпадают.
Речь идет не об одной трагедии. Этот судебный процесс будет продолжаться, как и должно быть, поэтому нам это не поможет. Речь идет об отказе от дискуссий и признании необходимости того, чтобы компании ставили безопасность человека выше технологического ускорения. Последствия неправильного решения для таких платформ, как ИИ персонажей, слишком реальны, и эти случаи показывают, насколько они могут быть смертельными.
Изображение предоставлено: Фуркан Демиркая/Идеограмма
