Em 22 de julho, Elon Musk anunciou no X que o cluster de supercomputadores Memphis, construído pela xAI, X, NVIDIA e outras equipes de apoio, começou o treinamento às 4h20 da manhã, horário local.
O cluster consiste em 100.000 chips H100 resfriados a líquido, tornando-o o cluster de supercomputadores mais poderoso do mundo. Em uma entrevista com o psicólogo Jordan Peterson, Musk revelou que levou apenas 19 dias desde a instalação do hardware até o início do treinamento.
Musk também compartilhou que o treinamento do Grok 2 está completo e será lançado no próximo mês. O Grok 3 está atualmente sendo treinado no centro de supercomputadores Memphis e espera-se que seja lançado até o final do ano, potencialmente se tornando o modelo mais poderoso do mercado.
No entanto, Musk expressou preocupações crescentes sobre a segurança da IA. Ele acredita que a IA deve ser baseada em princípios "pró-humanos", contrastando com os objetivos de outras empresas de criar superinteligência digital muito mais inteligente que os humanos.
Em relação ao desempenho atual do Grok, Musk admitiu que o modelo básico no X não é muito forte, sendo uma ordem de magnitude mais fraco que o ChatGPT. Ele enfatizou o rápido progresso da xAI, observando que eles construíram um grande centro de treinamento em apenas 19 dias.
A "fábrica de supercomputadores" Memphis possui 100.000 GPUs H100 resfriadas a líquido rodando em uma única estrutura RDMA, com um valor estimado de 3-4 bilhões de dólares. Em termos de poder computacional, é cerca de 20 vezes mais poderosa que a configuração usada para treinar o GPT-4 da OpenAI.
Musk revelou que o Grok 2 deve ser comparável ao modelo mais recente do ChatGPT (GPT-4). O Grok 3, atualmente em treinamento, deve ser lançado antes de dezembro e potencialmente pode ser a IA mais poderosa do mundo naquele momento.
Discutindo os riscos da IA, Musk enfatizou a importância de princípios "pró-humanos" no desenvolvimento da IA. Ele expressou preocupação sobre o objetivo de criar superinteligência digital muito mais inteligente que os humanos, o que ele acredita não ser benéfico.
Musk também compartilhou sua discordância com as visões do ex-CEO do Google, Larry Page, sobre IA e o futuro da humanidade. Ele enfatizou a importância de apoiar os humanos em vez das máquinas.
Sobre a OpenAI, que Musk co-fundou em 2015 mas deixou em 2018 devido a diferenças ideológicas, ele criticou a organização por se desviar de sua missão original de código aberto e sem fins lucrativos. Musk revelou que está considerando ação legal para entender como a organização que ele financiou poderia perseguir objetivos contrários ao seu propósito inicial.