xAI Corp. Илона Маска запустила Colossus, мощную систему обучения ИИ. Маск объявил об этом в недавнем посте на X, ранее известном как Twitter. Новая система, использующая 100 000 видеокарт Nvidia, является большим шагом вперед для xAI и сообщества ИИ.

Система Colossus использует графические карты Nvidia H100, которые являются стандартом для обработки ИИ с 2022 года. Система является одной из самых передовых систем обучения ИИ, когда-либо созданных. Маск говорит, что новая система является «самой мощной системой обучения ИИ в мире». Она может даже превзойти самые быстрые суперкомпьютеры, такие как Aurora Министерства энергетики США.

Движущая сила могущества Колосса

Вычислительная мощность системы Colossus обеспечивается за счет процессоров Nvidia. Чипы H100. Эти чипы являются одними из самых мощных в отрасли искусственного интеллекта и предназначены для обучения больших языковых моделей. H100 Двигатель-трансформатор Модуль представляет собой набор схем, оптимизированных для запуска моделей ИИ на основе архитектуры нейронной сети Transformer. Эта архитектура используется во многих ведущих моделях ИИ, включая Llama 3.1 405B от Meta и GPT-4 от OpenAI.

  Microsoft будет поддерживать потоки xCloud 1080p для Xbox Game Pass

Маск xAI Corp. получила $6 млрд инвестицийувеличив свою оценку до 24 миллиарда долларов. Это финансирование является частью усилий Маска по конкуренции с OpenAI, компанией, которую он судится за нарушение контракта. Система Colossus быстрее, чем суперкомпьютер Aurora Министерства энергетики США. Она использует передовые графические карты H100 от Nvidia. Более новые Чипсы H200 предлагают улучшения, включая переход от Память HBM3 в HBM3e и увеличение емкости встроенной памяти до 141 гигабайтНекоторые из чипов, используемых в Colossus, изначально предназначались для Tesla.

Система имеет более 100 000 чипов. Маск планирует удвоить количество чипов системы до 200 000, из которых 50 000 будут новыми, более быстрыми процессорами H200. H200 — это улучшенная версия H100. У него есть две новые функции, которые делают его быстрее и мощнее. Эти обновления облегчают Colossus обработку сложных моделей ИИ.

  Оповещение о движении против предупреждения о движении: объяснение функций кольцевой камеры

По мере развития xAI Технология искусственного интеллектановая система станет ключом к разработке языковых моделей следующего поколения. Основная модель компании, Grok-2, была обучена с использованием 15 000 графических процессоров. С мощностью 100 000 чипов Colossus можно создавать еще более продвинутые модели. xAI планирует выпустить новую модель к концу года.

В дополнение к своим новаторским разработкам в области ИИ, использование xAI оборудования Nvidia подчеркивает растущий спрос на мощные возможности обработки ИИ в различных отраслях. Тот факт, что некоторые из чипов, используемых в Colossus, изначально предназначались для Tesla, еще больше подчеркивает важность этой технологии в более широком видении Маска.

Источник изображения: Фуркан Демиркая / Далл-Э

Source: Colossus объединяет усилия с xAI Илона Маска и Nvidia