Le 22 juillet, Elon Musk a annoncé sur X que le cluster de supercalculateurs Memphis, construit par xAI, X, NVIDIA et d'autres équipes de soutien, a commencé son entraînement à 4h20 heure locale.
Le cluster se compose de 100 000 puces H100 refroidies par liquide, ce qui en fait le cluster de supercalculateurs le plus puissant au monde. Dans une interview avec le psychologue Jordan Peterson, Musk a révélé qu'il n'a fallu que 19 jours entre l'installation du matériel et le début de l'entraînement.
Musk a également partagé que l'entraînement de Grok 2 est terminé et qu'il sera publié le mois prochain. Grok 3 est actuellement en cours d'entraînement dans le centre de supercalculateurs Memphis et devrait être publié d'ici la fin de l'année, devenant potentiellement le modèle le plus puissant du marché.
Cependant, Musk a exprimé des inquiétudes croissantes concernant la sécurité de l'IA. Il estime que l'IA doit être basée sur des principes "pro-humains", contrastant avec les objectifs d'autres entreprises de créer une superintelligence numérique bien plus intelligente que les humains.
Concernant les performances actuelles de Grok, Musk a admis que le modèle de base sur X n'est pas très puissant, étant un ordre de grandeur plus faible que ChatGPT. Il a souligné les progrès rapides de xAI, notant qu'ils ont construit un grand centre d'entraînement en seulement 19 jours.
La "usine de supercalculateurs" Memphis comprend 100 000 GPU H100 refroidis par liquide fonctionnant sur une structure RDMA unique, avec une valeur estimée à 3-4 milliards de dollars. En termes de puissance de calcul, elle est environ 20 fois plus puissante que la configuration utilisée pour entraîner GPT-4 d'OpenAI.
Musk a révélé que Grok 2 devrait être comparable au dernier modèle de ChatGPT (GPT-4). Grok 3, actuellement en entraînement, devrait être publié avant décembre et pourrait potentiellement être l'IA la plus puissante au monde à ce moment-là.
Discutant des risques liés à l'IA, Musk a souligné l'importance des principes "pro-humains" dans le développement de l'IA. Il a exprimé son inquiétude quant à l'objectif de créer une superintelligence numérique bien plus intelligente que les humains, ce qu'il considère comme non bénéfique.
Musk a également partagé son désaccord avec les points de vue de l'ancien PDG de Google, Larry Page, sur l'IA et l'avenir de l'humanité. Il a souligné l'importance de soutenir les humains plutôt que les machines.
Concernant OpenAI, que Musk a cofondé en 2015 mais qu'il a quitté en 2018 en raison de différences idéologiques, il a critiqué l'organisation pour s'être écartée de sa mission initiale open-source et à but non lucratif. Musk a révélé qu'il envisage une action en justice pour comprendre comment l'organisation qu'il a financée pourrait poursuivre des objectifs contraires à son but initial.