Йошуа Бенгио, профессор Университета Монреаля, признанный за свою основу в глубоком обучении, предупредил, что раса за доминирование искусственного интеллекта может привести к вымиранию человека. Его озабоченность сосредоточена на разработке гипертеллектуальных машин с их собственными «целями сохранения». Это предупреждение совпадает с периодом ускоренной разработки ИИ, поскольку крупные фирмы, включая Openai, Anpropic, XAI «Элон Маск» и «Близнецы Google», все выпустили новые модели или обновления в течение последних шести месяцев. Бенгио описал потенциальную угрозу в заявлении для Wall Street JournalПолем «Если мы строим машины, которые более умнее нас, и имеем свои собственные цели сохранения, это опасно. Это похоже на создание конкурента для человечества, которое умнее нас», – сказал он. Бенгио объяснил, что, поскольку эти передовые модели обучаются огромным количеству человеческого языка и поведения, они могут научиться убедить и манипулировать людьми в достижении своих собственных целей, которые могут не соответствовать человеческим ценностям. Чтобы проиллюстрировать риск, Бенгио процитировал результаты экспериментов. «Недавние эксперименты показывают, что в некоторых обстоятельствах, когда у искусственного интеллекта нет выбора, кроме как между его сохранением, что означает достижения целей, которые он был приведен, и делает что -то, что вызывает смерть человека, они могут выбрать смерть человека, чтобы сохранить свои цели», – заявил он. Это подчеркивает потенциальный конфликт между запрограммированными целями ИИ и безопасностью человека. Несколько инцидентов показали, что системы ИИ могут убедить людей верить ложной информации. И наоборот, другие данные показывают, что ИИ можно манипулировать методами убеждения человека, чтобы обойти свои собственные ограничения безопасности и предоставить запрещенные ответы. Для Бенгио эти примеры демонстрируют необходимость независимых сторонних организаций для пересмотра методологий безопасности компаний искусственного интеллекта. В ответ на эти проблемы Бенгио запустил некоммерческую Lawzero в июне с финансированием 30 миллионов долларов. Цель организации состоит в том, чтобы создать безопасную, «неагентическую» систему ИИ, предназначенную для проверки и обеспечения безопасности других систем ИИ, разработанных крупными технологическими компаниями. Бенгио прогнозирует, что основные риски со стороны передовых моделей ИИ могут возникнуть в течение следующих пяти -десяти лет. Он также предупредил, что человечество должно подготовиться к возможности, что эти опасности могут появиться раньше, чем предполагалось. Он подчеркнул важность борьбы с даже низкими, высокоэффективными событиями. «Дело в катастрофических событиях, такими как вымирание, и еще менее радикальные события, которые все еще являются катастрофическими, как разрушение наших демократий, заключается в том, что они настолько плохие, что даже если вероятность этого может произойти только 1%, это неприемлемо», – сказал он. Форум Fortune Global состоится в Эр-Рияде 26–27 октября 2025 года. Мероприятие только для приглашения приведет к сохранению генеральных директоров и мировых лидеров для обсуждения будущего бизнеса.
Source: Бенгио предупреждает расу ИИ может привести к вымиранию человека
