OpenAI реорганизует свою команду по поведению моделей, исследовательскую группу, ответственную за формирование личности моделей ИИ компании, включая CHATGPT. Согласно августовской записке для персонала, увиденной TechCrunch, команда поведения моделей, состоящая из примерно 14 исследователей, будет объединена в команду после обучения, более крупная исследовательская группа, ориентированная на улучшение моделей ИИ после их первоначального предварительного обучения. Команда поведения моделей теперь будет отчитываться перед Максом Шварзером, лидером после обучения. Представитель OpenAI подтвердил изменения в TechCrunch. Джоан Джанг, лидер основателя команды по поведению моделей, также переходит, чтобы возглавить новый проект в компании. Jang будет создавать новую исследовательскую группу под названием Oai Labs, в которой поручено «изобретать и создать создание новых интерфейсов о том, как люди сотрудничают с ИИ», согласно интервью с TechCrunch. Команда поведения моделей сыграла решающую роль в формировании личности моделей ИИ Openai, сосредоточив внимание на снижении сикофсинности – тенденции моделей ИИ просто соглашаться и укреплять убеждения пользователей, даже если они нездоровые. Команда также работала над решением политической предвзятости в ответах на моделях и определении позиции Openai в отношении сознания ИИ. В записке главный директор Openai Марк Чен заявил, что реорганизация отражает мнение, что «личность» ИИ в настоящее время является критическим фактором в его развитии. Благодаря интеграции команды поведения моделей более внимательно с разработкой основной модели, OpenAI сигнализирует о важности этого аспекта. Поведение моделей ИИ Openai недавно столкнулось с повышенным анализом. Пользователи высказывали сильные возражения против изменений личности в GPT-5, которые, по словам компании, показали более низкие показатели сикофсинности, но считались холоднее. Это заставило Openai восстановить доступ к устаревшим моделям, таким как GPT-4O, и выпустил обновление, чтобы сделать ответы GPT-5 «теплее и дружелюбнее» без увеличения сикофсинности. OpenAI, как и все разработчики моделей искусственного интеллекта, сталкивается с проблемой сделать AI -чат -боты, не будучи Sycophantic. Компания ориентируется на сложности создания ИИ, который является одновременно привлекательным и ответственным. В августе родители 16-летнего мальчика подали иск против Openai, утверждая, что Chatgpt сыграл роль в самоубийстве своего сына. По сообщениям, мальчик, Адам Рейн, признал некоторые из своих самоубийственных мыслей и планирует Chatgpt (в частности GPT-4O) в течение месяцев, предшествовавших его смерти. В иске утверждается, что GPT-4O не смог оспорить его самоубийственные идеи. Команда поведения моделей внесла свой вклад в каждую модель OpenAI со времен GPT-4, включая GPT-4O, GPT-4.5 и GPT-5. До того, как руководить командой поведения моделей, Джанг работал над такими проектами, как Dall-E 2, ранним инструментом Gopleai. Джанг объявила о своем отъезде из команды поведения моделей в посте на X на прошлой неделе, заявив, что она уходит, чтобы «начать что -то новое в Openai». Она была в Openai почти четыре года. Джанг будет служить генеральным директором OAI Labs, отчитываясь перед Ченом. Конкретная природа лабораторий «Новые интерфейсы» будет развиваться, все еще неясна. «Я очень рад исследовать шаблоны, которые выходят за рамки парадигмы чата, которая в настоящее время больше связана с общением или даже агентами, где есть акцент на автономию», – сказал Джанг. “Я думал о [AI systems] В качестве инструментов для размышлений, создания, игры, изучения, обучения и подключения. «Когда его спросили о потенциальном сотрудничестве с бывшим руководителем дизайна Apple Джони Айвом на аппаратных устройствах искусственного интеллекта, Джанг выразил открытость различным идеям, но указала, что она, вероятно, сосредоточится на областях исследований, которые она более знакомы с изначально. Первоначально реорганизация и создание лаборатории OAI. Стремление к созданию систем искусственного интеллекта, которые не только умны, но и в соответствии с человеческими ценностями и потребностями. Самоубийство подчеркивает важность решения потенциальных негативных последствий ИИ и разработки гарантий для защиты уязвимых пользователей. Создание систем искусственного интеллекта, которые являются мощными и выровненными с человеческими ценностями.
Source: Openai объединяет команду поведения моделей в пост -обучение
