Enfabrica, стартап, поддерживаемый Nvidia, представил свою систему Emfasys, предназначенную для увеличения емкости памяти сервера для требования рабочих нагрузок с выводом искусственного интеллекта. Система Emfasys обеспечивает до 18 ТБ дополнительной памяти DDR5 серверам через Ethernet, обращаясь к узкому месту памяти, часто встречаемой в крупномасштабных приложениях ИИ.
Система Emfasys, совместимая с стойкой, использует Supernic Enfabrica ACF-S, которая оснащена пропускной способностью 3,2 ТБ/с (400 Гбит/с). Эта система соединяет память DDR5 с возможностями CXL, позволяя 4-направленным серверам GPU для доступа к пулу памяти через стандартные порты Ethernet 400G или 800G. Соединение зависит от удаленного прямого доступа к памяти (RDMA) по сравнению с Ethernet, облегчая бесшовную интеграцию с существующей инфраструктурой сервера искусственного интеллекта.
Передача данных между серверами графических процессоров и пулом памяти Emfasys использует RDMA, что позволяет получить доступ к памяти с низкой задержкой (измеренный в микросекундах) без вмешательства ЦП, используя протокол CXL.MEM. Доступ к пулу памяти Emfasys требует программного обеспечения для уровня памяти, предоставленного Enfabrica, которое управляет переведенными задержками и другими связанными проблемами. Это программное обеспечение предназначено для функционирования в существующих аппаратных и ОС -средах, создавая на установленных интерфейсах RDMA, чтобы упростить развертывание без необходимости крупных архитектурных модификаций.
Enfabrica Emfasys специально адаптирована для удовлетворения растущих потребностей в памяти современных приложений искусственного интеллекта, особенно тех, которые включают в себя длинные подсказки, большие контекстные окна или несколько агентов. Эти приложения устанавливают значительную нагрузку на HBM, привязанный к графическим процессорам, что ограничено как по емкости, так и в дорогой. Используя внешний пул памяти, операторы центров обработки данных получают гибкость, чтобы расширить способность памяти отдельных серверов искусственного интеллекта, что делает его подходящим решением для этих сложных сценариев.
Приняв пул памяти Emfasys, операторы сервера AI могут повысить эффективность за счет улучшения использования вычислительных ресурсов, снижения потери дорогой памяти графических процессоров и общего снижения затрат на инфраструктуру. Enfabrica утверждает, что эта конфигурация может снизить стоимость на токен, сгенерированный AI, до 50% в сценариях с высоким и длительным контекстом. Кроме того, задачи генерации токенов могут быть более равномерно распределены по серверам, смягчая потенциальные узкие места.
«ИИ вывода имеет проблему масштабирования пропускной способности памяти и проблему с поездом памяти»,-сказал Рочан Санкар, генеральный директор Enfabrica. «Поскольку вывод становится все более агентским по сравнению с разговорными, более устойчивыми и забывчивыми, текущие способы масштабирования доступа к памяти не будут удерживать. Мы создали Emfasys для создания эластичной ткани памяти AI в масштабе стоек и решить эти проблемы таким образом, что они не были сделаны раньше. Клиенты взволнованы для партнерства с нами, чтобы создать гораздо более масштабируемую архитектуру движения памяти для своих рабочих нагрузков Genai и приводящих в жизнь лучших токков».
Система Emfasys AI Memory Fabric и Supernic Supernic Chip 3,2 ТБ/с в настоящее время проходят оценку и тестирование от выбранных клиентов. Сроки общей доступности остаются неясными.
Enfabrica является консультативным членом консорциума Ultra Ethernet (UEC) и способствует консорциуму Ultra Accelerator Link (UALINK).
Source: Nvidia, поддерживаемая Enfabrica, добавляет 18 ТБ через Ethernet для серверов ИИ
