Google AI выпустила EmbeddingGemma, новую модель встраивания на устройстве, обладающая 308 миллионами параметров. Согласно Google, его компактный размер позволяет ему эффективно функционировать на мобильных устройствах и в автономных настройках. Модель достигает задержки вывода под 15 мс для 256 токенов на EdgetPu, что делает ее подходящей для приложений в реальном времени. Обученная данными, охватывающими более 100 языков, EnceddingGemma получила верхнюю позицию на массивном эталонном эталоне встроенного текста (MTEB) среди моделей с менее чем 500 миллионами параметров. Google сообщает о своих конкурентах по производительности или превосходит выполнение моделей встраивания почти в два раза, особенно в межязычных поисковых и семантических поисковых задачах. Более подробная информация доступна через предоставленные ссылки на полный анализ, модель об объятиях и технические детали.

Source: Google AI выпускает модель EnceddingGemma On-Device

  Ошибка Mastodon Too Many Requests: как исправить?