100 000 GPU NVIDIA, équivalent à un "mur de puces" construit par Musk dans le monde de l'IA, comparé aux 25 000 GPU utilisés par OpenAI pour entraîner GPT-4, une augmentation de 4 fois.
Il convient de noter que ce plus grand centre de supercalcul au monde n'a commencé sa construction qu'en mars de cette année, avec une date d'achèvement prévue pour 2025, mais il a été terminé en seulement quatre mois, bien avant la date prévue.
La mise en service officielle du centre de supercalcul sonnera le début de la contre-attaque de Musk contre OpenAI.
Un centre de supercalcul coûteux
La raison fondamentale pour laquelle Musk a construit le centre de supercalcul était d'entraîner le chatbot Grok de xAI.
Musk a fondé xAI en juillet 2023, avec des membres fondateurs clés venant d'OpenAI, Google DeepMind, Microsoft Research, Tesla et d'autres entreprises renommées. Pour qu'il puisse concurrencer directement ChatGPT, Musk a consacré la majeure partie de son énergie ces deux dernières années à xAI.
Pour assurer la réalisation du centre de supercalcul, Musk a déclaré publiquement qu'il superviserait personnellement le développement de ce superordinateur.
Pour construire un centre de supercalcul, le choix du site est sans aucun doute crucial.
Selon Forbes, l'équipe de Musk a négocié avec sept ou huit villes avant de finalement choisir Memphis, Tennessee, en mars, car Memphis offrait une alimentation électrique suffisante et la capacité de construire rapidement.
Il convient de noter que le centre de supercalcul nécessite de nombreuses ressources. Outre le matériel de base comme les puces NVIDIA, l'usine pourrait utiliser jusqu'à 150 mégawatts d'électricité par heure, l'équivalent de ce dont 100 000 foyers ont besoin, ce qui pourrait représenter un fardeau énorme pour la région.
En plus des ressources électriques, le refroidissement du centre de supercalcul devrait nécessiter 1,3 million de gallons d'eau par jour, ce qui signifie qu'il faudra puiser dans la principale source d'eau de Memphis chaque jour.
Cela a également suscité le mécontentement des citoyens de Memphis et des organisations environnementales, qui ont publié conjointement une lettre ouverte de protestation : "Nous devons considérer comment une industrie utilisant une telle quantité d'énergie affectera davantage les communautés déjà accablées par la pollution et les charges énergétiques élevées."
Pour mener à bien le projet, xAI s'est engagé à améliorer les infrastructures publiques de Memphis pour soutenir le développement du centre de supercalcul, y compris la construction d'une nouvelle sous-station électrique et d'une installation de traitement des eaux usées.
On peut dire que pour le centre de supercalcul, Musk a payé un prix astronomique. Selon les estimations de coûts, 100 000 NVIDIA H100 coûtent chacune entre 30 000 et 40 000 dollars, pour une valeur totale de 4 milliards de dollars (soit plus de 29 milliards de yuans).
Même pour Musk, "l'homme le plus riche du monde", cet énorme investissement financier était difficile à supporter. Il s'est donc associé à Dell et Supermicro pour construire le cluster et a obtenu 24 000 H100 d'Oracle.
Malgré les coûts énormes, Musk a continué à promouvoir sans relâche la construction du centre de supercalcul. Il a résumé cela en une phrase sur sa plateforme sociale :
"Nous devons tenir le volant nous-mêmes."
xAI valorisé à plus de 130 milliards
Il faut dire que pour permettre à xAI de rattraper OpenAI, Musk a tout donné.
Sous l'aura du plus riche homme du monde, xAI, fondé en juillet 2023, a à peine un an et possède déjà le capital et la confiance pour défier OpenAI.
Le 13 avril de cette année, xAI a lancé son premier grand modèle multimodal, Grok-1.5V. En plus des fonctionnalités textuelles, Grok peut désormais traiter une variété d'informations visuelles, y compris des documents, des graphiques, des captures d'écran, des photos, et effectuer des raisonnements multidisciplinaires.
Avec la naissance de Grok-1.5V, xAI est devenu très prisé sur le marché des capitaux.
Le 26 mai, xAI a annoncé avoir levé 6 milliards de dollars, avec une valorisation de 24 milliards de dollars (environ 173,8 milliards de yuans). Les investisseurs de ce tour de table incluent des sociétés de capital-risque renommées de la Silicon Valley comme Sequoia Capital et Andreessen Horowitz, ainsi qu'un fonds d'investissement étroitement lié à la famille royale saoudienne.
OpenAI a levé un total de 14,3 milliards de dollars au cours des dix dernières années, tandis que xAI a levé 6 milliards de dollars en seulement 10 mois, soit la moitié du montant levé par OpenAI en dix ans.
C'est aussi l'une des plus importantes levées de fonds uniques dans l'histoire des grands modèles, dépassant les 4 milliards levés par Anthropic le 12 septembre 2023 et les 2 milliards de dollars le 28 octobre, ainsi que les 1,3 milliard de dollars levés par InflectionAI le 30 juin 2023. Le montant total du financement n'est inférieur qu'à celui d'OpenAI et d'Anthropic.
Le fait que xAI ait obtenu le plus grand financement de l'histoire de l'IA est naturellement indissociable de l'aura de Musk. En particulier, les autres entreprises de l'empire commercial de Musk ont beaucoup aidé xAI.
Selon les médias, au début de la création de xAI, Tesla a envoyé environ 50 ingénieurs logiciels pour aider à des tâches telles que la révision du code. Certains ingénieurs de Tesla ont même rejoint directement xAI. De plus, les nombreuses caméras et autres capteurs équipant les voitures Tesla peuvent fournir des données vidéo en temps réel pour l'entraînement des modèles de xAI.
La célèbre plateforme sociale X de Musk peut également fournir à xAI une grande quantité de données générées par les humains. Ces données sont une ressource idéale pour entraîner les systèmes d'intelligence artificielle à mieux interagir avec les humains.
La combinaison de tous ces avantages a permis la naissance d'une licorne IA valorisée à 24 milliards de dollars en seulement un an, capable de rivaliser avec OpenAI en termes de financement, de données et de puces.
Le 1er juillet, Musk a déclaré publiquement sur sa plateforme sociale que la prochaine étape de xAI serait de nettoyer les grands modèles de langage des données d'entraînement provenant d'Internet, avec l'intention de lancer la prochaine version améliorée, Grok-2, en août.
On peut s'attendre à voir Grok-2 affronter GPT-4 le mois prochain.
La guerre des talents dans le monde de l'IA
Outre le financement et les puces, la compétition entre les grands modèles d'IA a un autre élément important : les talents.
Musk s'est déjà plaint sur sa plateforme sociale que la guerre des talents en IA est la plus folle qu'il ait jamais vue.
En tant que "célébrité d'Internet" mondialement connue, chaque mouvement de Musk peut influencer l'orientation d'un secteur. Cette influence et cette notoriété ont également facilité le recrutement de talents professionnels par Musk.
Selon les médias, Musk aurait débauché de nombreux chercheurs de géants technologiques comme Google et Microsoft. Les dirigeants d'autres entreprises se sont plaints que les conditions salariales offertes par xAI étaient extrêmement compétitives, les plaçant dans une position désavantageuse sur le marché du recrutement.
De plus, en tant que l'un des principaux cofondateurs d'OpenAI et membre du conseil d'administration de 2015 à 2018, Musk a non seulement contribué des dizaines de millions de dollars de financement et fourni des conseils sur les orientations de recherche, mais a également joué un rôle clé dans le recrutement de talents de classe mondiale.
Bien qu'il ait quitté OpenAI en raison de différences dans les philosophies de développement, il connaît sans aucun doute très bien la direction d'OpenAI.
Lors de la création de xAI, Musk a débauché à salaire élevé Kyle Kosic et Igor Babuschkin d'OpenAI.
Même avec la mise en service officielle du centre de supercalcul, Musk n'a pas cessé de recruter des talents.
Le 23 juillet, xAI a lancé un recrutement mondial, offrant près de 30 postes, dont des ingénieurs en IA et divers postes de direction. En plus d'offrir des salaires compétitifs et des incitations en actions, les avantages sociaux de xAI sont également remarquables, allant même jusqu'à des congés payés illimités avec approbation.
Même si l'année de l'IA est passée depuis plus d'un an, la course aux armements de l'IA continue de s'intensifier.
Même Musk continue d'augmenter les enjeux pour xAI, jusqu'à ce qu'il dépasse OpenAI.