На этой неделе Майлз Брандейдж, старший советник команды OpenAI, работающей над готовностью AGI, покинул компанию, попав в заголовки газет. Делая шаг, который подчеркивает растущую обеспокоенность в сообществе искусственного интеллекта, Брандейдж выступил с четким предупреждением: нет, даже OpenAI или какая-либо другая ведущая лаборатория искусственного интеллекта не готова полностью к рискам, связанным с искусственным общим интеллектом (AGI).
Это последний из серии громких выходов, который поднимает серьезный вопрос: есть ли место, где AGI потенциально не может повлиять на общество? Возможно, даже самые передовые лаборатории не готовы справиться с потенциальным воздействием ОИИ на общество.
Я только что отправил это сообщение своим коллегам и подробно описал свое решение и следующие шаги в сообщении в блоге (см. следующий твит): pic.twitter.com/NwVHQJf8hM
— Майлз Брандейдж (@Miles_Brundage) 23 октября 2024 г.
Растущие проблемы безопасности ИИ, поскольку OpenAI теряет ключевых исследователей
Уход Брандейджа является последним в череде уходов из OpenAI, и в последнее время они установили различную степень дистанции между собой, компанией и руководством. В число ушедших входит технический директор Мира Мурати, главный научный сотрудник. Боб МакГрюи исследования Вице-президент Баррет ЗофЭто больше, чем конкретное свидетельство того, что компания ясно обозначила свои приоритеты. Частично он покинул Брандейдж потому, что хотел проводить исследования в области политики в области ИИ без некоторых ограничений, с которыми он столкнулся, работая в OpenAI, где он чувствовал себя все более отсталым из-за желания OpenAI ограничить степень открытости его публикаций. За этим последовало расформирование группы готовности OpenAI к AGI, и это заставило людей беспокоиться о том, привержена ли компания долгосрочным инициативам по обеспечению безопасности.
Между тем, развитие AGI ускоряется быстрее, чем общество готово к ответственному подходу, говорит Брандейдж в своем прощальном заявлении. «Ни OpenAI, ни какая-либо другая передовая лаборатория не готова к AGI, и мир также не готов», — написал он, добавив, что, хотя руководство OpenAI может согласиться с его оценкой, переход компании к коммерциализации может поставить под угрозу ее миссию, ориентированную на безопасность. Сообщается, что OpenAI испытывает давление с целью монетизировать свою работу, переходя от некоммерческих исследований к коммерческой модели и жертвуя долгосрочными соображениями во имя коммерческой поставки продукта, но, насколько могут судить данные,
Предупреждение Брандейджа не единственное. Это также произошло сразу после ухода ключевых исследователей, таких как Ян Лейке и соучредитель Илья Суцкевер, что еще больше усилило растущую пропасть между разработкой ИИ и безопасностью. В начале этого года Лейке распустил свою команду по безопасности, поскольку она изо всех сил пыталась собрать достаточно ресурсов для важных исследований, включая нехватку вычислительной мощности. Эти внутренние разногласия и внешние опасения указывают на значительный разрыв между устремлениями лабораторий искусственного интеллекта и тем, с чем готовы мировые механизмы глобального управления в отношении потенциально пагубных социальных последствий искусственного интеллекта.
Конечно, бывший исследователь OpenAI Сушир Баладжи высказался о том, что компания ставит прибыль выше безопасности, а слухи о многочисленных судебных исках против нее обвиняют OpenAI в нарушении авторских прав. Уход Баладжи и заявление Брандейджа подчеркивают растущее беспокойство среди исследователей, которые считают, что коммерческий потенциал ИИ опережает потенциальные усилия по смягчению его рисков.
Когда я впервые услышал об OpenAI LP, я был обеспокоен, поскольку меня привлек некоммерческий статус OAI. Но с тех пор я пришел к этой идее по двум причинам: 1. Углубившись в детали, я понял, что было предпринято много шагов для того, чтобы организация оставалась ориентированной на миссию.
— Майлз Брандейдж (@Miles_Brundage) 11 марта 2019 г.
Поскольку OpenAI продолжает терять ключевых фигур из своих команд безопасности, более широкое сообщество ИИ сталкивается с насущным вопросом: почему мы так быстро движемся к AGI, не осознавая некоторых потенциальных последствий этой гонки? Уход Брандейджа и более резкие предупреждения о его возможностях напоминают нам, что риск, связанный с AGI, заключается не только в том, что мы можем проиграть войну. Тем более, что мы опережаем возможности общества контролировать это. Как и в случае с безопасностью ИИ, развитие ОИИ будет зависеть от голоса тех альтернативных ключевых исследователей, которые решат следовать независимым путем и могут даже выступить за менее агрессивную и подотчетную процедуру роста ОИИ.
Мир ждет, чтобы увидеть, смогут ли эти передовые лаборатории быть инновационными, при этом неся при этом ответственность за то, чтобы AGI работал на общество, а не против него, когда это произойдет. В центре внимания OpenAI и другие.
Изображение предоставлено: Фуркан Демиркая/Идеограмма
