22 июля Илон Маск объявил на X, что суперкомпьютерный кластер Memphis, построенный xAI, X, NVIDIA и другими вспомогательными командами, начал обучение в 4:20 утра по местному времени.
Кластер состоит из 100 000 жидкостно-охлаждаемых чипов H100, что делает его самым мощным суперкомпьютерным кластером в мире. В интервью психологу Джордану Петерсону Маск рассказал, что от установки оборудования до начала обучения прошло всего 19 дней.
Маск также сообщил, что обучение Grok 2 завершено, и он будет выпущен в следующем месяце. Grok 3 в настоящее время обучается в суперкомпьютерном центре Memphis и, как ожидается, будет выпущен к концу года, потенциально став самой мощной моделью на рынке.
Однако Маск выразил растущую обеспокоенность по поводу безопасности ИИ. Он считает, что ИИ должен основываться на "про-человеческих" принципах, в отличие от целей других компаний по созданию цифрового суперинтеллекта, намного превосходящего человека.
Что касается текущей производительности Grok, Маск признал, что базовая модель на X не очень сильна, будучи на порядок слабее ChatGPT. Он подчеркнул быстрый прогресс xAI, отметив, что они построили большой учебный центр всего за 19 дней.
"Суперкомпьютерная фабрика" Memphis оснащена 100 000 жидкостно-охлаждаемых GPU H100, работающих на единой структуре RDMA, с оценочной стоимостью 3-4 миллиарда долларов. По вычислительной мощности она примерно в 20 раз мощнее установки, использованной для обучения GPT-4 от OpenAI.
Маск сообщил, что Grok 2 должен быть сопоставим с последней моделью ChatGPT (GPT-4). Ожидается, что Grok 3, который в настоящее время находится в процессе обучения, будет выпущен до декабря и потенциально может стать самым мощным ИИ в мире на тот момент.
Обсуждая риски ИИ, Маск подчеркнул важность "про-человеческих" принципов в разработке ИИ. Он выразил обеспокоенность целью создания цифрового суперинтеллекта, намного превосходящего человека, что, по его мнению, не является полезным.
Маск также поделился своим несогласием с взглядами бывшего генерального директора Google Ларри Пейджа на ИИ и будущее человечества. Он подчеркнул важность поддержки людей, а не машин.
Что касается OpenAI, которую Маск соосновал в 2015 году, но покинул в 2018 году из-за идеологических разногласий, он раскритиковал организацию за отклонение от ее первоначальной миссии открытого исходного кода и некоммерческой деятельности. Маск сообщил, что рассматривает возможность судебного иска, чтобы понять, как организация, которую он финансировал, могла преследовать цели, противоречащие ее первоначальному назначению.