В революционном исследовательском документе, выпущенном Openai, исследователи предоставили строгое математическое объяснение того, почему крупные языковые модели (LLMS), такие как CHATGPT, часто галлюцинируют – постоянно генерируя ложную информацию. Исследование, опубликованное 16 сентября 2025 года Вей Сингом в разговоре, утверждает, что этот вопрос – не просто учебный недостаток, а неотъемлемый следствие того, как работают эти модели. В то время как статья предлагает потенциальные решения, она подчеркивает, что их реализация может нарушить опыт пользователей и взлететь за затраты на вычислительные вычисления, что делает маловероятным внедрением для потребительских приложений. Основная проблема проистекает из авторегрессивного характера LLMS, которые генерируют ответы, предсказывая одно слово за раз, основываясь на вероятностях, полученных из учебных данных. Этот последовательный процесс по своей природе приводит к накоплению ошибок. По мнению исследователей, общий показатель ошибок для генерации всего предложения как минимум в два раза выше, чем частота ошибок для простого «да/без вопроса». Например, если модель имеет 10% частоту ошибок по двоичным запросам, ошибки на уровне предложений могут удваиваться до 20% или более, как неточности, составные по сравнению с несколькими токенами. Галлюцинации принципиально ограничены способностью модели классифицировать достоверные и неверные ответы, задача, которая оказывается сложной задачей в разных областях знаний. Даже с безупречными учебными данными, вероятностный механизм прогнозирования обеспечивает некоторый уровень неизбежной ложь. В документе подчеркивается, что редкость информации в наборах данных обучает это усугубляет это. Факты, появляющиеся нечасто, более склонны к неправильному запоминанию или изготовлению. Поразительный пример включает в себя дни рождения известных фигур. Анализ показал, что если 20% таких дней рождения появляются только один раз в учебных данных, прогнозируется, что базовые LLMS ошибится не менее 20% от связанных запросов. Чтобы проиллюстрировать, исследователи тестировали современные модели на день рождения Адама Калай, одного из соавторов газеты. Модель DeepSeek-V3 в отдельных попытках выводит три дико неверные даты: «03-07», «15-06» и «01-01». Фактическая дата падает осенью, подчеркивая, как модели могут с уверенностью утверждать детали далеки от реальности. Соберите проблему – это структура оценки, используемая в критериях искусственного интеллекта. В исследовании рассмотрели десять основных тестов, в том числе из Google, OpenAI и ведущих лидеров ИИ. Девять из них используют бинарные системы оценки, которые присуждают нулевые баллы за выражение неопределенности, такие как «я не знаю». Эта настройка приравнивает честное признание невежества с откровенными ошибками, создавая извращенный стимул для моделей всегда догадываться, а не воздерживаться. Математически исследователи доказывают, что в рамках бинарной оценки догадки дают более высокий ожидаемый балл, чем отказ от ответа, независимо от истинной вероятности правильности. Если у модели есть даже тонкий шанс – то, что, 1% – правой, потенциальная награда перевешивает штраф за воздержание. Эта «эпидемия» наказания неопределенности, как ее описывают авторы, увековечивает чрезмерные результаты и уклоняется к прогрессу в направлении более надежного ИИ. Предложенное OpenAI лекарство включает в себя интеграцию оценки доверия в процесс принятия решений модели. Перед ответом ИИ оценит уровень определенности и будет продолжаться только в том случае, если он превысит предопределенный порог. Затем тесты будут скорректированы на оценку на основе этой уверенности, таких как более значительные наказание ошибок (например, -3 балла), в то же время вознаграждая правильные ответы (+1 балл) и позволив воздержаться от случаев низкой достоверности. Математическая структура демонстрирует, что соответствующие пороговые значения будут побудить модели выражать неопределенность естественным образом, уменьшая галлюцинации. Однако практическая реализация выявляет значительные недостатки. В документе оценивается, что применение 75% -ного порога доверия может привести к тому, что CHATGPT ответит «я не знаю» примерно к 30% запросов, основываясь на фактических пробелах в учебных данных. Пользователи, привыкшие к мгновенным, авторитетным ответам, могут найти это разочаровывающим и переключиться на менее осторожные альтернативы. Вэй Син проводит параллель от его участия в проекте мониторинга качества воздуха в Солт-Лейк-Сити, штат Юта. Когда система помечает неопределенности – от неблагоприятной погоды или калибровки – взаимодействие пользователя падает по сравнению с отображениями уверенности, даже если неточные, чтения. Эта аналогия подчеркивает более широкое человеческое предпочтение определенности в отношении точности, что может разрушить принятие искусственного ИИ с неопределенностью в условиях потребителей. Помимо пользовательского опыта, вычислительные требования создают грозный барьер. Количественная оценка неопределенности требует оценки нескольких путей ответа и оценки доверительных интервалов, процесса, гораздо более интенсивного ресурса, чем стандартный прогноз токенов. Для обслуживания, обрабатывающих миллионы ежедневных запросов, это может значительно умножить эксплуатационные расходы. Установленные методы количественной оценки неопределенности, разработанные в течение десятилетий в таких областях, как статистика и машинное обучение, являются эффективными, но вычислительно дорогими. Расширенные методы, такие как Active Learning – где ИИ задает разъясняющие вопросы пользователям – могут еще больше повысить точность, но еще больше усиливают требования. Эти подходы возможны в областях с высокими ставками, где ошибки несут серьезные последствия. Например, в логистике цепочки поставок, финансовой торговле или медицинской диагностике стоимость галлюцинации (например, миллионы потерянных доходов или вреда для пациентов) оправдывает инвестиции в осторожные, тяжелые системы. В разработке чипов или в управлении экономической инфраструктурой ИИ с неопределенностью становится не только жизнеспособным, но и необходимым. В документе отмечается, что когда агенты искусственного интеллекта наблюдают за критическими операциями, экономический сдвиг: расходы на тщательные проверки доверия беременности против рисков чрезмерных ошибок. Однако потребительский ИИ, который доминирует в приоритетах развития, действует в соответствии с различными правилами. Пользователи требуют быстрых, гарантированных ответов на любой запрос, от викторины до совета. Бесцены продолжают благоприятствовать догадкам, а аппаратная эффективность – например, падение затрат на энергию на токен или улучшение архитектуры чипов – в конечном итоге могут снизить барьеры. Тем не менее, по сравнению с сегодняшними обтекаемыми моделями догадков, обработка неопределенности всегда потребует больше мощности обработки. В документе непреднамеренно раскрывается смещение в бизнес -стимулах: скорость и уверенность в том, чтобы привлечь прибыль в приложениях для потребителей, в то время как точность уходит на заднее сиденье. Методы после тренировки, такие как обучение подкреплению от обратной связи человека (RLHF), смягчили некоторые галлюцинации, но не устраняют коренные причины. Исследование доказывает, что даже оптимизированные модели сохраняют эти математические неизбежности. До тех пор, пока стандарты оценки не будут развиваться, чтобы вознаградить нюанс и вычислительную экономику, определяют достоверность в отношении скорости, галлюцинации будут терпеть в качестве отличительной черты потребительских LLMS. Это откровение бросает вызов траектории индустрии ИИ. По мере того, как модели становятся все больше и способны, давление, чтобы сбалансировать инновации с достоверностью, усиливается. Работа Openai требует смены парадигмы, призывая разработчиков, профессиональных создателей и пользователей оценить калиброванные ответы. В высоких секторах усыновление кажется неизбежным; Для повседневных инструментов это остается далекой перспективой. Авторы газеты, в том числе исследователи Openai, приходят к выводу, что без стимулирующей перестройки стремление к безупречному ИИ останется неуловимым. Как Вей Син, доцент профессора в Школе математических и физических наук Университета Шеффилда, примечания в статье, переизданные из разговора по лицензии на творческий обзор, «деловые стимулы, способствующие развитию ИИ потребителя, остаются в основном смещены от сокращения галлюцинаций». Это исследование не только диагностирует постоянный недостаток, но и намещает путь вперед-тот, который требует компромисс между удобством использования, стоимостью и достоверностью. Поскольку ИИ интегрируется в повседневную жизнь, решение этой напряженности будет иметь решающее значение для устойчивого продвижения.

  Политическая реклама в Твиттере будет разблокирована

Source: Исследование OpenAI доказывает, что галлюцинации LLM математически неизбежны, предлагает дорогостоящее исправление