X.AI запустила крупнейший тренировочный кластер ИИ в Мемфисе

Elon Musk твитнул, что сегодня ночью они запустили тренировку на свежепостроенном суперкластере X.AI в Мемфис, штат Теннеси. В этом датацентре установлено 100 000 видеокарт H100 это ОЧЕНЬ много — META недавно запустила 2 кластера по 24 576 GPU, а GPT-4 тренировали, по слухам, на 25 000 карт. Мало того, что самих чипов больше, каждый из них ещё и в 2-3 раза мощнее. Точную оценку дать сложно, многое упирается в инфраструктуру и способ обмена разных серверов информацией. Чем больше карт — тем дольше их синхронизировать, и потому падает утилизация. Если прикидывать грубо, то система в 10 раз мощнее тренировавшей модель OpenAI x4 за кол-во карт и x2.5 за новое поколение чипов . Честно, я не ждал, что уже в этом году заработает такой кластер — думал, может, на 75-80 тысячах остановятся. Тем более я не ждал этого от Elon — ведь его X.AI буквально последними запрыгнули в AI гонку, когда видеокарточек уже буквально не было! Но если новичок смог за полтора года так разогнаться, то, наверное, у OpenAI x Microsoft или Google мощностей для запуска одной тренировки может быть в 2-3 раза больше. Думаю, тезис про «самый большой кластер» под вопросом просто они непубличные и мы про них не знаем . В любом случае, развитие продолжается, ждём Grok 3 в декабре — а вместе с ним и моделей от других ведущих лабораторий!

Маск создаст “самый мощный в мире ИИ" к декабрю Илон Маск объявил о запуске стартапом xAI самого мощного в мире кластера искусственного интеллекта для обучения, использующего 100 тысяч ускорителей Nvidia H100 с жидкостным охлаждением. Этот кластер, по его словам, обеспечит значительное преимущество в обучении самого мощного ИИ к декабрю 2024 года. Скорее всего, это будет алгоритм Grok 3, обучение которого планируется завершить к концу этого года. Кластер в дата-центре в Мемфисе компании xAI превосходит аналогичные системы, такие как Frontier использует 27 888 ускорителей AMD , Aurora 60 000 ускорителей Intel и Microsoft Eagle 14 400 ускорителей H100 от Nvidia . Мы из будущего

Мощнейший ИИ будет готов к декабрю Илон Маск объявил о запуске самого мощного в мире кластера для обучения ИИ с 100 тысячами ускорителей Nvidia H100 и жидкостным охлаждением. По словам Маска, этот кластер обеспечит значительное преимущество в обучении ИИ к декабрю 2024 года. Система, установленная на единой RDMA-шине, уже признана самой мощной в мире. Суперкомпьютер, расположенный в дата-центре в Мемфисе, вероятно, будет использоваться для обучения алгоритма Grok 3. Система превосходит аналоги, такие как Frontier, Aurora и Microsoft Eagle, по числу и мощности ускорителей. Источник

Илон Маск объявил в социальной сети X, что его ИИ-стартап xAI запустил «самый мощный в мире кластер для обучения ИИ»

Илон Маск собрался обучить мощнейший ИИ в истории к декабрю, для чего запустил самый мощный в мире ИИ-кластер со 100 тыс. Nvidia H100 Вероятно, речь идёт об алгоритме Grok 3, этап обучения которого должен закончиться к концу этого года. Похоже, что у Маска не хватило терпения, чтобы дождаться выхода ускорителей H200. Для понимания, самый мощный в мире суперкомпьютер Frontier построен на базе 27 888 ускорителей AMD, в Aurora используется 60 тыс. ускорителей Intel, а в Microsoft Eagle, на третьем месте — 14 400 ускорителей H100 от Nvidia. Мой Компьютер

XAI построили крупнейший тренировочный кластер в мире Но самый большой построенный не значит самый большой работающий. Питаться кластеру пока что не от чего: из рассчитанных 200 мегаватт, в датацентр поступает всего лишь 7. То есть из ста тысяч GPU работает примерно четыре тысячи. В начале следующего месяца ситуация должна поправиться - подстанция, питающая датацентр заработает на полную. Это даст на него 50 мегаватт и позволит выйти на уровень производительности одного из двух кластеров, которые Meta запустила в марте. Полностью запустить кластер удастся только в конце этого года/начале следующего. Затык в тренировке ИИ всё больше и больше не в чипах, а в энергии. Это приведёт в ближайшие годы к куче странных феноменов: мы всё больше будем видеть компании, сбрасывающие GPU прошлого поколения за бесценок, просто потому что их нечем питать. Так и в реакторы синтеза от Альтмана начинаешь верить. Кажется, Grok 3 всё-таки релизнется по Elon time, а не в декабре

Илон Маск запустил кластер на базе 100 тысяч NVIDIA H100 для обучения самого мощного ИИ в мире Илон Маск похвастался, что «самый мощный кластер в мире для обучения ИИ» уже начал работу. Memphis Supercluster, принадлежащий компании xAI, использует 100 тысяч графических процессоров NVIDIA H100 с жидкостным охлаждением на единой RDMA-шине. Читать далее

Апдейт: кластер хоть запитан не весь, но работает там сильно больше GPU, чем можно подумать по его потреблению из электросети. А именно ~32 тысячи H100, треть кластера. Секрет успеха - генераторы, которые подвезли прямо к кластеру. Если количество генераторов останется константным, то в августе может заработать уже больше половины кластера. А вот в четвёртом квартале энергии будет уже с избытком - подведено к датацентру будет 200 мегаватт, тогда как кушать он будет всего ~150.

Илон Маск запустил самый мощный в мире ИИ-кластер co 100 тыс. Nvidia H100 Компания Илона Маска xAI начала обучение своих ИИ-моделей на Memphis Supercluster, самом мощном в мире кластере для обучения ИИ. Суперкомпьютер, расположенный в Мемфисе, оснащен 100 тыс. графических процессоров Nvidia H100 с жидкостным охлаждением. Маск надеется создать «самый мощный в мире ИИ» к декабрю этого года, и ИИ-кластер должен помочь в достижении этой цели. Между тем, Microsoft разрабатывают собственный суперкомпьютер Stargate стоимостью $100 млрд, который может превзойти Memphis Supercluster.

Илон Маск запустил супер кластер Memphis Supercluster на базе 100 тысяч графических процессоров NVIDIA H100. Система собрана для обучения искусственного интеллекта. Энтузиаст отметил, что использует в своих проектах и другие модели GPU. Теперь понятно, кто скупил все RTX 4090.