- OpenAI и Microsoft объединяют усилия для проекта OpenAI Superalignment. OpenAI запустила программу супервыравнивания, четырехлетний проект, призванный предотвратить превышение человеческих возможностей рисками, связанными со сверхинтеллектуальными системами ИИ.
- Программа направлена на то, чтобы системы ИИ соответствовали человеческим ценностям и целям, смягчая потенциальные опасности апокалипсиса ИИ.
- OpenAI активно выступает за регулирование ИИ и сотрудничает с лидерами отрасли, чтобы активно управлять беспрецедентными рисками, связанными со сверхразумом.
Компания OpenAI приложила значительные усилия, выпустив в прошлом году передовую технологию генеративного искусственного интеллекта, которая произвела революцию в мире, чтобы предотвратить возможное вымирание человечества, которое может быть вызвано будущими достижениями.
Бизнес стоит за разумно звучащим чат-ботом ChatGPT и сложными моделями машинного языка, такими как GPT-4. Он объединился с Microsoft для интеграции ИИ в продукты последней.
Руководители предсказывают, что дополнительные разработки в области ИИ могут привести к «сверхразуму» — фразе, используемой для описания навыков, выходящих за рамки навыков общего искусственного интеллекта (AGI), или способности ИИ научиться выполнять любую интеллектуальную работу, на которую способны люди.
Программа OpenAI Superalignment направлена на предотвращение мошеннического сверхразума
Представлен OpenAI свою новую программу супервыравнивания OpenAI. В рамках этого четырехлетнего проекта будет создана новая команда, которая будет следить за тем, чтобы системы ИИ, которые намного умнее людей, подчинялись целям человека, предотвращая сценарий апокалипсиса ИИ, описанный в нескольких фильмах и книгах.
Поскольку все существующие методы выравнивания ИИ зависят от способности людей контролировать ИИ, что, по мнению экспертов, они не могут надежно делать, когда имеют дело с системами ИИ, которые намного умнее, чем их руководители, в сегодняшнем посте утверждается, что не существует методов для управления или контроля потенциального сверхразумный ИИ и не дать ему выйти из-под контроля.
Главное объявление о толчке приходит после пост от 2022 года в нем описывалось исследование выравнивания бизнеса, направленное на то, чтобы помочь людям обуздать мошеннические технологии. ОИИ, тема этого поста, теперь заменена сверхразумом.
Направление Open AI superalignment направлено на создание исследователя автоматического выравнивания с возможностями почти человеческого уровня, после чего корпорация сможет масштабировать свои последующие усилия и итеративно согласовывать сверхразум, используя огромные объемы вычислений.
Компания заявила: «Чтобы настроить первого исследователя автоматизированного выравнивания, нам потребуется 1) разработать масштабируемый метод обучения, 2) проверить полученную модель и 3) стресс-тестировать весь наш конвейер выравнивания», уточняя эти опасения следующим образом:
- Мы можем использовать системы ИИ, чтобы помочь контролировать другие системы ИИ, чтобы предложить обучающий сигнал о действиях, которые людям сложно оценить. Кроме того, мы хотим понять и иметь некоторое влияние на то, как наши модели распространяют наше наблюдение на рабочие места, которые мы не можем отслеживать.
- Мы автоматизируем поиск проблемного поведения (надежность) и проблемных внутренних компонентов (автоматическая интерпретируемость), чтобы убедиться, что наши системы согласованы.
- И последнее, но не менее важное: мы можем протестировать весь конвейер, целенаправленно обучая несоосные модели и проверяя, что наши методы точно определяют наихудшие возможные несоосности.
В дополнение к выделению 20% своих вычислительных ресурсов в течение следующих четырех лет компания заявила, что формирует команду элитных исследователей и инженеров в области машинного обучения для решения проблемы согласования сверхразума. Кроме того, он нанимает дополнительный персонал для этой работы, включая менеджеров, ученых и инженеров-исследователей.
OpenAI выступает за регулирование ИИ с лидерами отрасли
Корпорация заявила сегодня, что надеется, что проблема может быть решена, несмотря на то, что это очень амбициозная цель и нет никаких гарантий успеха. «Чтобы утверждать, что проблема решена, сообщество машинного обучения и безопасности должно быть убеждено данными и рассуждениями.
Если у нас нет большой веры в наши ответы, мы надеемся, что наши результаты помогут нам и сообществу планировать соответствующим образом. У нас есть широкий спектр теорий, которые продемонстрировали многообещающие результаты в ранних испытаниях, и мы можем использовать современные модели для эмпирического исследования многих из этих вопросов.
На таких сайтах, как Хакер Новости, где в настоящее время обсуждается огромный толчок, самое популярное замечание звучит так: «С точки зрения непрофессионала, когда дело доходит до передового ИИ, меня не могут не оттолкнуть некоторые копии. Чтобы сделать опасность еще более серьезной и показать, что разрабатываемая технология действительно является передовой, кажется, что она изо всех сил намеренно использует обильные формулировки».
Инициатива OpenAI Superalignment: (Кредит изображения) Неожиданно OpenAI, корпорация, в первую очередь ответственная за недавний всплеск предупреждений об экзистенциальных угрозах, связанных с ИИ, активно предупреждала общественность об этих рисках и выступала за регулирование ИИ вместе с несколькими другими видными лидерами и группами отрасли.
По словам руководителей OpenAI Сэма Альтмана, Грега Брокмана и Ильи Суцкевера, которые заявили об этом ранее в этом году, суперинтеллект будет более мощным, чем предыдущие технологии, с которыми человечество сталкивалось в прошлом. «У нас может быть значительно более богатое будущее, но чтобы достичь этого, мы должны управлять рисками. Мы не можем просто реагировать, когда возможна экзистенциальная опасность.
Историческим примером технологии, обладающей таким качеством, является ядерная энергия, тогда как синтетическая биология — другой пример. Нам также необходимо уменьшить угрозы, исходящие от современных технологий искусственного интеллекта, но сверхразум потребует особого внимания и сотрудничества.
Прежде чем уйти, вы можете прочитать нашу статью о Humata AI.
Рекомендуемое изображение: опенай
Source: Инициатива OpenAI Superalignment: обеспечение безопасной и согласованной разработки ИИ