El 22 de julio, Elon Musk anunció en X que el clúster de supercomputadoras Memphis, construido por xAI, X, NVIDIA y otros equipos de apoyo, comenzó su entrenamiento a las 4:20 AM hora local.
El clúster consta de 100,000 chips H100 refrigerados por líquido, convirtiéndolo en el clúster de supercomputadoras más potente del mundo. En una entrevista con el psicólogo Jordan Peterson, Musk reveló que solo tomó 19 días desde la instalación del hardware hasta el inicio del entrenamiento.
Musk también compartió que el entrenamiento de Grok 2 está completo y se lanzará el próximo mes. Grok 3 se está entrenando actualmente en el centro de supercomputación Memphis y se espera que se lance a finales de año, potencialmente convirtiéndose en el modelo más potente del mercado.
Sin embargo, Musk expresó preocupaciones crecientes sobre la seguridad de la IA. Cree que la IA debe basarse en principios "pro-humanos", en contraste con los objetivos de otras empresas de crear una superinteligencia digital mucho más inteligente que los humanos.
Respecto al rendimiento actual de Grok, Musk admitió que el modelo básico en X no es muy fuerte, siendo un orden de magnitud más débil que ChatGPT. Enfatizó el rápido progreso de xAI, señalando que construyeron un gran centro de entrenamiento en solo 19 días.
La "fábrica de supercomputadoras" Memphis cuenta con 100,000 GPUs H100 refrigeradas por líquido funcionando en una única estructura RDMA, con un valor estimado de 3-4 mil millones de dólares. En términos de potencia de cálculo, es aproximadamente 20 veces más potente que la configuración utilizada para entrenar GPT-4 de OpenAI.
Musk reveló que Grok 2 debería ser comparable al último modelo de ChatGPT (GPT-4). Se espera que Grok 3, actualmente en entrenamiento, se lance antes de diciembre y potencialmente podría ser la IA más poderosa del mundo en ese momento.
Al discutir los riesgos de la IA, Musk enfatizó la importancia de los principios "pro-humanos" en el desarrollo de la IA. Expresó preocupación por el objetivo de crear una superinteligencia digital mucho más inteligente que los humanos, lo cual cree que no es beneficioso.
Musk también compartió su desacuerdo con las opiniones del ex CEO de Google, Larry Page, sobre la IA y el futuro de la humanidad. Enfatizó la importancia de apoyar a los humanos sobre las máquinas.
Respecto a OpenAI, que Musk cofundó en 2015 pero abandonó en 2018 debido a diferencias ideológicas, criticó a la organización por desviarse de su misión original de código abierto y sin fines de lucro. Musk reveló que está considerando acciones legales para entender cómo la organización que él financió podría perseguir objetivos contrarios a su propósito inicial.