Nvidia представила Nemotron 3 Nano Omni, открытую мультимодальную модель искусственного интеллекта, которая объединяет возможности зрения, звука и языка в единую архитектуру.
Модель направлена на устранение неэффективности существующих корпоративных систем искусственного интеллекта, которые часто полагаются на фрагментированные конвейеры. Он обрабатывает различные входные данные, включая текст, изображения, аудио, видео, документы, диаграммы и графические интерфейсы, одновременно генерируя текстовые выходные данные.
Nemotron 3 Nano Omni, построенный на гибридной архитектуре смешанных экспертов с 30 миллиардами параметров, активирует примерно 3 миллиарда параметров за один вывод. Nvidia утверждает, что она обеспечивает объем знаний более крупных моделей, значительно сокращая при этом затраты на вычисления.
Nvidia заявила, что Nemotron 3 Nano Omni обеспечивает производительность в 9 раз выше, чем сопоставимые открытые модели omni. Для задач видеоанализа он обеспечивает примерно в три раза большую пропускную способность при 2,75-кратном снижении требований к вычислительным ресурсам при поддержке контекстного окна с 256 000 токенов. Сообщается, что эта модель лидирует в шести тестах по комплексному анализу документов, а также по распознаванию видео и аудио.
Среди известных последователей этой модели — Foxconn, Palantir и H Company. «Использование Nemotron 3 Nano Omni позволяет нашим агентам быстро анализировать записи экрана в формате Full HD, что ранее было невозможно», — сказал Готье Клуа, генеральный директор H Company.
Dell, Oracle и Infosys в настоящее время оценивают модель на предмет ее потенциального внедрения. Nemotron 3 Nano Omni доступен на таких платформах, как Hugging Face, OpenRouter, Amazon SageMaker JumpStart, Vultr и более чем 25 партнерских платформах. Он оснащен открытыми весами, наборами данных и рецептами обучения для развертывания в различных средах.
Эта модель является частью более широкого семейства Nemotron 3 от Nvidia, в которое входят модели Super и Ultra, предназначенные для более интенсивных логических задач. За последний год серию Nemotron 3 скачали более 50 миллионов раз.
<час />
