В ходе эксперимента, проведенного австралийским правительством, искусственный интеллект (ИИ) сравнивался с человеческим интеллектом при резюмировании сложных документов, и люди оказались более эффективными во всех аспектах.
Проведенный австралийским корпоративным регулирующим органом, Комиссия по ценным бумагам и инвестициям (ASIC), исследование было направлено на оценку эффективности искусственного интеллекта в задачах, которые обычно требуют тщательного анализа и сосредоточенности. На основании результатов можно сделать вывод, что ИИ может создавать больше работы, а не сокращать ее.
ИИ не дотягивает до рецензентов-людей
Ранее в этом году Amazon протестировала различные модели ИИ от разных производителей, помогая правительству Австралии этот эксперимент. В конечном итоге для этой задачи был выбран Llama2-70B от Meta. ИИ было поручено обобщить пять представлений парламентского расследования, сосредоточившись на упоминаниях ASIC, рекомендациях, ссылках на регулирование и других ключевых деталях. Одновременно десять человек разного уровня — сотрудники ASIC — получили ту же задачу. Эта группа рецензентов, не знавшая об участии ИИ, оценила резюме на предмет согласованности, длины, релевантности и точности ссылок на регулирование.
Участники-люди решительно превзошли ИИ, показав впечатляющий результат 81% по оценочной рубрике, по сравнению с 47% для ИИ. Люди преуспели в определении ссылок на документы ASIC, что, как известно, является сложной задачей для ИИ. Более того, человеческие резюме хвалили за сохранение акцента, нюансов и контекста, в то время как ИИ часто пропускал эти критические элементы. Рецензенты также отметили, что резюме ИИ иногда содержали нерелевантную информацию или пропускали важные детали, что делало их менее надежными.
Последствия эффективности ИИ в обобщении
Результаты эксперимента показывают, что современная технология ИИ может быть не столь эффективна, как принято считать, с точки зрения экономии времени. С другой стороны, привычка ИИ упускать из виду ключевые детали и совершать ошибки может привести к дополнительным задачам для людей, которым придется проверять и редактировать созданный ИИ материал. Рецензенты были обеспокоены тем, что зависимость от ИИ для реферирования может быть невыгодной, поскольку он часто не передает основные моменты документов так же хорошо, как рецензенты-люди.
Хотя в отчете были признаны определенные ограничения, такие как устаревшая модель ИИ, в конечном итоге был сделан вывод о том, что человеческие навыки в интерпретации и оценке информации по-прежнему превосходят ИИ. Испытание подчеркнуло важность рассмотрения ИИ как инструмента, помогающего, а не заменяющего человеческий труд в задачах, требующих глубокого понимания контекста и тонкости.
Прозрачность правительства и ИИ
Результаты отчета не стали неожиданностью для Сенатор от партии зеленых Дэвид Шоебриджкоторый возглавлял расследование, приведшее к публикации. Он упомянул, что хотя ИИ может помочь в оценке заявок, он всегда должен контролироваться людьми. Эксперимент подчеркивает идею о том, что в настоящее время ИИ наиболее полезен, когда помогает человеческим способностям, а не берет их под свой контроль.
Испытание также поднимает более общие вопросы о том, насколько прозрачен ИИ при использовании в государственных процедурах. Сенатор Шобридж подчеркнул важность того, чтобы правительственные департаменты проявляли инициативу по раскрытию использования ИИ, а не ждали, пока информация будет раскрыта во время слушаний в сенатском комитете.
Автор изображения: Фуркан Демиркая / В середине пути
Source: Человеческое прикосновение превзошло ИИ в правительственном испытании
