Qualcomm, ведущий поставщик беспроводной связи и процессоров, добился значительных успехов в области искусственного интеллекта (ИИ) на Всемирном мобильном конгрессе в Барселоне. Основная цель компании — масштабное использование искусственного интеллекта на периферийных устройствах, таких как телефоны, компьютеры и другие устройства.
Компания Qualcomm успешно запустила первую в мире модель большого языка (LLM) и большую мультимодальную модель на телефоне Android, позволяющую вести многоэтапный диалог в стиле чата между пользователем и его устройством. Кроме того, компания объявила о планах по ускорению искусственного интеллекта на широком спектре периферийных устройств, включая компьютеры следующего поколения, транспортные средства, телефоны, промышленные устройства IoT, точки доступа Wi-Fi и сотовую инфраструктуру.
Простой в использовании Qualcomm AI Hub
Чтобы облегчить разработку приложений ИИ, Квалкомм создала AI Hub, который предоставляет разработчикам обширную библиотеку моделей искусственного интеллекта, оптимизированных для высокой производительности на Snapdragon и других платформах Qualcomm. Платформа предлагает множество функций, таких как рендеринг изображений и текста, а также до четырех раз более быстрый вывод на устройствах на базе Snapdragon или других платформах Qualcomm.
AI Hub предлагает удобный интерфейс, позволяющий разработчикам выбирать из более чем 75 моделей искусственного интеллекта и рабочих сред TensorFlow, PyTorch или Onyx. Модели также доступны на Hugging Face и GitHub, что позволяет разработчикам легко интегрировать ИИ в свои приложения.
Что такое ЛоРА?
Qualcomm также достигла еще одного технического достижения, запустив свою первую реализацию низкого порядка (LoRA) на телефоне Android. Разработанный Microsoft, LoRA направлен на снижение сложности обучения модели с точки зрения задержки, стоимости и требований к оборудованию. LoRA предлагает новый подход к генерации изображений, который отличается от инструментов генеративного искусственного интеллекта, таких как DALL-E. Уменьшая сложность модели, LoRA снижает требования к памяти, повышает эффективность и позволяет настраивать облегченные версии без необходимости загрузки или точной настройки всей модели.
LoRA использует другой подход к традиционным моделям рендеринга AI. Эти модели изучают структуру пикселей для создания изображения. LoRA использует список векторов для создания изображения. Векторы представляют основные характеристики изображения (форму, цвет, текстуру и т. д.).
Векторный подход LoRA значительно снижает сложность и размер модели. Это позволяет модели обучаться быстрее, требуя меньше оборудования и потребляя меньше энергии.
Snapdragon X Elite: создан для приложений искусственного интеллекта.
Разработанный для работы с искусственным интеллектом, Snapdragon X Elite имеет 4-нм архитектуру SoC, 12-ядерный процессор Qualcomm Oryon с поддержкой двухъядерных процессоров и встроенный графический процессор Qualcomm Adreno. Он обеспечивает несколько дней использования без подзарядки, устраняя необходимость в постоянной подзарядке. Одной из его наиболее важных особенностей является то, что он также может запускать генеративные модели AI LLM с 13 миллиардами параметров.
Чтобы продемонстрировать возможности SoC, Qualcomm провела тест производительности между Snapdragon X Elite и конкурирующим процессором x86 с наиболее эффективной конфигурацией графического процессора, центрального процессора и NPU. В тесте использовался GIMP, мощный редактор растровой графики с открытым исходным кодом, оснащенный плагином Stable Diffusion для создания изображений GAI. Результаты показали, что Snapdragon X Elite с NPU «45 TOPS» может рендерить изображения в три раза быстрее, чем его конкурент x86. Чтобы лучше понять, насколько мощной является вычислительная мощность 45 TOPS, мы можем посмотреть на пример ниже:
- Человеческий мозг может выполнять около 100 триллионов операций в секунду.
- Настольный компьютер может выполнять около 10 триллионов операций в секунду.
- Смартфон может выполнять около 1 триллиона операций в секунду.
Как видно, вычислительная мощность 45 TOPS в 45 раз больше, чем у смартфона и в 4,5 раза больше, чем у настольного компьютера. Это показывает, что платформа Snapdragon X Elite является очень мощной платформой для приложений искусственного интеллекта.
НПУ, имя которого мы начали слышать
NPU означает Neural Processing Unit, специализированный процессор для приложений искусственного интеллекта и машинного обучения. NPU обеспечивают превосходную производительность, особенно при расчете математических операций, используемых искусственными нейронными сетями (ИНС). Эти математические операции включают умножение матриц, свертку и функции активации.
NPU предназначены для более эффективной работы с данными низкой точности, что делает их идеальными для рабочих нагрузок искусственного интеллекта. Они также гораздо более энергоэффективны, чем процессоры и графические процессоры для вычислений ИИ.
Инновации Qualcomm в области искусственного интеллекта
Оптимизм компании в этом вопросе направлен на обеспечение эффективного использования искусственного интеллекта на множестве различных платформ. Телефонный процессор Snapdragon 8 Gen 3 компании и платформы ПК Snapdragon X Elite могут выполнять важные функции в таких областях, как генеративный искусственный интеллект, компьютерное зрение и обработка естественного языка.
Qualcomm также предлагает разработчикам расширенные возможности искусственного интеллекта через Qualcomm AI Hub. Центр предоставляет разработчикам ресурсы, в том числе более 75 моделей искусственного интеллекта, оптимизированных для высокой производительности на Snapdragon и других платформах Qualcomm.
Использование искусственного интеллекта в смартфонах ограничено, но если компания сдержит свое слово и будет развивать эти технологии по своему усмотрению, мы сможем использовать искусственный интеллект в наших телефонах так же, как мы используем его в наших компьютерах. ИИ также привносит совершенно новое измерение в игровой процесс, позволяя виртуальным игровым помощникам создавать новый игровой контент и динамически корректировать правила игры и игровой процесс на основе знаний игрока или желания получить более сложный опыт.
Масштабируемая коммерциализация ИИ на устройствах Qualcomm является важным вкладом в демократизацию ИИ. Эти дальновидные шаги делают Qualcomm ключевым игроком в области искусственного интеллекта, и компания может еще больше ускорить широкомасштабное внедрение искусственного интеллекта.
Разработки в области искусственного интеллекта продолжаются. Такими темпами искусственный интеллект, который впервые проник в наши компьютеры, эффективно достигнет наших телефонов. Я думаю, это также показывает, насколько этот сектор будет расти в будущем, поскольку процессоры созданы специально для понимания искусственного интеллекта. Хотя ее этика и мораль в настоящее время обсуждаются, в ближайшие дни использование этой технологии так или иначе будет принято всеми пользователями. Благодаря достижениям Qualcomm мы можем ожидать появления устройств на базе искусственного интеллекта, которые смогут с легкостью выполнять сложные задачи, делая нашу жизнь более удобной и эффективной.
Предоставленное изображение предоставлено: Квалкомм
Source: Мечты Qualcomm об искусственном интеллекте не имеют аналогов