100 тысяч GPU NVIDIA - это как "Великая стена из чипов", которую Маск построил в мире ИИ, что в 4 раза больше, чем 25 000 GPU, использованных OpenAI для обучения GPT-4.
Стоит отметить, что этот крупнейший в мире суперкомпьютерный центр начал строиться только в марте этого года, планировалось завершить его к 2025 году, но неожиданно он был завершен всего за четыре месяца.
Официальный запуск суперкомпьютерного центра ознаменует начало контратаки Маска против OpenAI.
Суперкомпьютерный центр, стоивший огромных средств
Основная причина, по которой Маск построил суперкомпьютерный центр, - это обучение чат-бота Grok от xAI.
В июле 2023 года Маск основал xAI, ключевые члены которой пришли из известных компаний, таких как OpenAI, Google DeepMind, Microsoft Research и Tesla. Чтобы конкурировать напрямую с ChatGPT, Маск посвятил большую часть своих усилий за последние два года xAI.
Чтобы обеспечить реализацию суперкомпьютерного центра, Маск публично заявил, что лично возглавит и будет контролировать разработку этого суперкомпьютера.
Для строительства суперкомпьютерного центра выбор места, несомненно, является ключевым.
По сообщению Forbes, команда Маска вела переговоры с семью-восемью городами, прежде чем в марте окончательно остановилась на Мемфисе, штат Теннесси, поскольку Мемфис предложил достаточное электроснабжение и возможность быстрого строительства.
Стоит отметить, что суперкомпьютерный центр требует огромного количества ресурсов. Помимо базового оборудования, такого как чипы NVIDIA, завод может потреблять до 150 мегаватт электроэнергии в час, что эквивалентно потреблению 100 000 домохозяйств, что может стать огромной нагрузкой для местного сообщества.
Помимо электроэнергии, для охлаждения суперкомпьютерного центра ежедневно требуется 1,3 миллиона галлонов воды, которую нужно будет забирать из основного источника воды Мемфиса.
Это вызвало недовольство жителей Мемфиса и экологических организаций, которые совместно выпустили открытое письмо с протестом: "Мы должны учитывать, как отрасль, использующая такое огромное количество энергии, будет дальше влиять на сообщества, уже задыхающиеся от загрязнения и высоких энергетических затрат".
Для завершения проекта xAI обещала улучшить общественную инфраструктуру Мемфиса для поддержки развития суперкомпьютерного центра, включая строительство новой электроподстанции и очистного сооружения.
Можно сказать, что Маск заплатил астрономическую цену за суперкомпьютерный центр. По оценкам, 100 000 NVIDIA H100 стоят 30-40 тысяч долларов каждый, общая стоимость достигнет 4 миллиардов долларов (что эквивалентно более 29 миллиардам юаней).
Огромные финансовые вложения оказались непосильными даже для Маска, "богатейшего человека в мире", поэтому он объединился с Dell и Supermicro для создания кластера и получил ресурсы 24 000 H100 от Oracle.
Несмотря на огромные финансовые затраты, Маск неуклонно продвигал строительство суперкомпьютерного центра. Он подвел итог одной фразой на своей социальной платформе:
"Мы должны сами держать руль".
xAI с оценкой, превышающей 130 миллиардов
Нельзя не отметить, что Маск отдал все, чтобы xAI догнала OpenAI.
Под ореолом богатейшего человека в мире, xAI, основанная только в июле 2023 года, едва достигнув годовалого возраста, уже обладает капиталом и уверенностью для вызова OpenAI.
13 апреля этого года xAI выпустила свою первую мультимодальную крупную модель Grok-1.5V, которая, помимо текстовых функций, теперь может обрабатывать различную визуальную информацию, включая документы, графики, диаграммы, скриншоты, фотографии, и способна проводить междисциплинарные рассуждения.
С появлением Grok-1.5V, xAI стала горячей темой на рынке капитала.
26 мая xAI объявила о завершении финансирования в размере 6 миллиардов долларов с оценкой в 24 миллиарда долларов (около 173,8 миллиарда юаней). Этот раунд финансирования привлек сильный состав инвесторов, включая известные венчурные фирмы Кремниевой долины Sequoia Capital и Andreessen Horowitz, а также инвестиционный фонд, тесно связанный с королевской семьей Саудовской Аравии.
OpenAI за последние десять лет получила в общей сложности 14,3 миллиарда долларов финансирования, а xAI всего за 10 месяцев привлекла 6 миллиардов долларов, что эквивалентно половине финансирования OpenAI за десять лет.
Это также одно из крупнейших единовременных финансирований в истории сектора крупных языковых моделей, превосходящее 4 миллиарда долларов, полученные Anthropic 12 сентября 2023 года, и 2 миллиарда долларов, полученные 28 октября, а также 1,3 миллиарда долларов, полученные InflectionAI 30 июня 2023 года. Общая сумма финансирования уступает только OpenAI и Anthropic.
То, что xAI получила крупнейшее финансирование в истории сектора ИИ, конечно, неотделимо от ореола Маска. Особенно другие компании в бизнес-империи Маска оказали значительную помощь xAI.
По сообщениям СМИ, в начале создания xAI Tesla направила около 50 инженеров-программистов для помощи в таких задачах, как проверка кода. Некоторые инженеры Tesla даже напрямую присоединились к xAI. В то же время, огромное количество видеоданных, захваченных камерами и другими датчиками, установленными на автомобилях Tesla, может предоставить xAI данные в реальном времени для обучения ее моделей.
Известная социальная платформа X, принадлежащая Маску, также может предоставить xAI огромное количество данных, созданных людьми. Эти данные являются идеальным ресурсом для обучения систем искусственного интеллекта лучшему взаимодействию с людьми.
Сочетание всех этих преимуществ позволило за год создать AI-единорога с оценкой в 24 миллиарда долларов, который может конкурировать с OpenAI в плане финансирования, данных и чипов.
1 июля Маск публично заявил на своей социальной платформе, что следующим шагом xAI будет очистка больших языковых моделей от данных, обученных в интернете, и планирует выпустить следующее поколение обновленной версии Grok-2 в августе.
Верится, что в следующем месяце мы увидим битву Grok-2 против GPT-4.
Война за таланты в мире ИИ
Помимо финансирования и чипов, еще одним важным аспектом конкуренции между крупными моделями ИИ являются таланты.
Маск однажды посетовал на своей социальной платформе: война за таланты в ИИ - самая безумная война за таланты, которую он когда-либо видел.
Как "известный интернет-знаменитость" мирового масштаба, каждое движение Маска может повлиять на направление целой отрасли. Это влияние и известность также облегчили Маску привлечение профессиональных талантов.
По сообщениям СМИ, Маск переманил множество исследователей из технологических гигантов, таких как Google и Microsoft. Руководители других компаний жаловались, что условия оплаты, предлагаемые xAI, настолько конкурентоспособны, что ставят их в невыгодное положение на рынке найма.
В то же время, будучи одним из основных соучредителей OpenAI и долгое время занимая пост в совете директоров с 2015 по 2018 год, Маск не только внес десятки миллионов долларов финансирования и предложения по направлениям исследований, но и сыграл ключевую роль в привлечении талантов мирового уровня.
Хотя он покинул OpenAI из-за разногласий в концепции развития, он, несомненно, очень хорошо знаком с руководством OpenAI.
При создании xAI Маск переманил из OpenAI с высокой зарплатой специалистов по данным Кайла Косича (Kyle Kosic) и Игоря Бабушкина (Igor Babuschkin).
Даже с официальным запуском суперкомпьютерного центра Маск не прекращает набор талантов.
23 июля xAI начала глобальный набор персонала, предлагая около 30 позиций, включая инженеров по ИИ и различных руководителей. Помимо конкурентоспособной зарплаты и поощрений акциями, пакет льгот xAI также весьма привлекателен, даже включая возможность неограниченного оплачиваемого отпуска после одобрения.
Хотя год ИИ прошел уже более года назад, гонка вооружений в области ИИ продолжает накаляться.
Даже Маск продолжает наращивать инвестиции в xAI, пока не превзойдет OpenAI.