xAI Corp. Илона Маска запустила Colossus, мощную систему обучения ИИ. Маск объявил об этом в недавнем посте на X, ранее известном как Twitter. Новая система, использующая 100 000 видеокарт Nvidia, является большим шагом вперед для xAI и сообщества ИИ.
Система Colossus использует графические карты Nvidia H100, которые являются стандартом для обработки ИИ с 2022 года. Система является одной из самых передовых систем обучения ИИ, когда-либо созданных. Маск говорит, что новая система является «самой мощной системой обучения ИИ в мире». Она может даже превзойти самые быстрые суперкомпьютеры, такие как Aurora Министерства энергетики США.
В эти выходные, @xAI Команда вывела наш учебный кластер Colossus 100k H100 в онлайн. От начала до конца все было сделано за 122 дня.
Colossus — самая мощная система обучения ИИ в мире. Более того, через несколько месяцев она удвоится до 200 тыс. (50 тыс. H200).
Отличный…
— Илон Маск (@elonmusk) 2 сентября 2024 г.
Движущая сила могущества Колосса
Вычислительная мощность системы Colossus обеспечивается за счет процессоров Nvidia. Чипы H100. Эти чипы являются одними из самых мощных в отрасли искусственного интеллекта и предназначены для обучения больших языковых моделей. H100 Двигатель-трансформатор Модуль представляет собой набор схем, оптимизированных для запуска моделей ИИ на основе архитектуры нейронной сети Transformer. Эта архитектура используется во многих ведущих моделях ИИ, включая Llama 3.1 405B от Meta и GPT-4 от OpenAI.
Маск xAI Corp. получила $6 млрд инвестицийувеличив свою оценку до 24 миллиарда долларов. Это финансирование является частью усилий Маска по конкуренции с OpenAI, компанией, которую он судится за нарушение контракта. Система Colossus быстрее, чем суперкомпьютер Aurora Министерства энергетики США. Она использует передовые графические карты H100 от Nvidia. Более новые Чипсы H200 предлагают улучшения, включая переход от Память HBM3 в HBM3e и увеличение емкости встроенной памяти до 141 гигабайтНекоторые из чипов, используемых в Colossus, изначально предназначались для Tesla.
Видео изнутри Cortex сегодня, гигантского нового суперкластера обучения искусственному интеллекту, который строится в штаб-квартире Tesla в Остине для решения реальных задач искусственного интеллекта pic.twitter.com/DwJVUWUrb5
— Илон Маск (@elonmusk) 26 августа 2024 г.
Система имеет более 100 000 чипов. Маск планирует удвоить количество чипов системы до 200 000, из которых 50 000 будут новыми, более быстрыми процессорами H200. H200 — это улучшенная версия H100. У него есть две новые функции, которые делают его быстрее и мощнее. Эти обновления облегчают Colossus обработку сложных моделей ИИ.
По мере развития xAI Технология искусственного интеллектановая система станет ключом к разработке языковых моделей следующего поколения. Основная модель компании, Grok-2, была обучена с использованием 15 000 графических процессоров. С мощностью 100 000 чипов Colossus можно создавать еще более продвинутые модели. xAI планирует выпустить новую модель к концу года.
В дополнение к своим новаторским разработкам в области ИИ, использование xAI оборудования Nvidia подчеркивает растущий спрос на мощные возможности обработки ИИ в различных отраслях. Тот факт, что некоторые из чипов, используемых в Colossus, изначально предназначались для Tesla, еще больше подчеркивает важность этой технологии в более широком видении Маска.
Источник изображения: Фуркан Демиркая / Далл-Э
Source: Colossus объединяет усилия с xAI Илона Маска и Nvidia