Anthropic запускает новую программу по финансированию разработки новых показателей для оценки производительности и воздействия моделей ИИ, включая генеративные модели, такие как Claude.
Новый шаг компании изменит подход к оценке моделей ИИ, направленный на создание эталонных показателей, которые точно отражают реальные приложения и гарантируют безопасность ИИ.
Исторический обзор показателей ИИ
Тесты ИИ играют важную роль в оценке производительности модели. Традиционно они измеряют такие задачи, как распознавание изображений и обработка естественного языка. Однако для более продвинутых систем, таких как генеративные модели, необходимы более комплексные и реалистичные тесты. Традиционные тесты не в состоянии охватить сложность реальных приложений и не отражают проблемы современных технологий ИИ.
Почему Anthropic проявил такую инициативу?
Anthropic стремится устранить недостатки существующих бенчмарков путем финансирования новых и комплексных методов оценки. Сосредоточившись на безопасности ИИ и его влиянии на общество, компания хочет разработать критерии измерения расширенных возможностей. Программа направлена на создание достаточно жестких бенчмарков, реалистичных и соответствующих безопасности.
Программа будет сосредоточена на трех основных областях: оценки безопасности ИИ, расширенные возможности и контрольные показатели безопасности, а также инфраструктура, инструменты и методы оценки. Обращаясь к этим областям, Anthropic стремится создать масштабируемые и готовые к использованию контрольные показатели.
Основные направления программы
Одной из основных областей фокусировки является оценка безопасности ИИ. Эти оценки измеряют задачи со значительными последствиями для безопасности, такие как проведение кибератак. Другая область фокусировки — расширенные возможности и контрольные показатели безопасности, которые измеряют производительность при выполнении сложных задач, требующих высокого уровня знаний. Третья область — разработка инфраструктуры, инструментов и методов для создания оценок.
Принципы эффективной оценки
Эффективные оценки должны быть строгими и содержательными. Оценки должны быть достаточно сложными и не должны включаться в данные обучения модели ИИ. Эффективность и масштабируемость являются важными принципами. Оценки должны разрабатываться с участием экспертов в предметной области. Хорошая документация и воспроизводимость необходимы для прозрачности и репликации.
Процесс подачи и рассмотрения заявок
Anthropic установил структурированный процесс подачи и рассмотрения предложений по новым критериям. Заинтересованные организации могут подавать свои предложения через форму заявкиКомпания оказывает финансовую поддержку и предлагает варианты финансирования, адаптированные к потребностям проекта.
Выбранные предложения получат возможность сотрудничать с экспертами Anthropic в своей области. Сотрудничество обеспечит разработку оценок в соответствии с высокими стандартами и решение наиболее острых проблем в области безопасности и производительности ИИ.
Инициатива Anthropic по финансированию следующего поколения бенчмарков ИИ направлена на улучшение оценки моделей ИИ. Устраняя ограничения существующих бенчмарков, программа стремится создать более всеобъемлющие и содержательные оценки. Благодаря сотрудничеству со сторонними организациями и поддержке экспертов в данной области Anthropic надеется поднять область безопасности ИИ и добавить ценные инструменты в экосистему ИИ.
Автор изображения: vecstock / Freepik
Source: Anthropic хочет профинансировать новое и более полное поколение тестов ИИ