Musk recentemente afirmou que, com a Tesla se preparando para lançar o Robotaxi em outubro, a equipe de IA irá "dobrar os esforços" no supercomputador Dojo. O Dojo é a pedra angular da IA da Tesla, projetado especificamente para treinar redes neurais FSD.
Musk visitou recentemente o cluster de supercomputadores da Tesla na Gigafactory do Texas. Ele descreveu que será um sistema com cerca de 100.000 GPUs H100/H200, equipado com armazenamento em larga escala, usado para treinamento de vídeo para direção totalmente autônoma (FSD) e robôs Optimus. Além das GPUs da NVIDIA, este cluster de supercomputadores também está equipado com sistemas Tesla HW4, AI5 e Dojo, alimentados por um grande sistema de até 500 megawatts para energia e resfriamento.
Musk revelou que a Tesla usa não apenas GPUs da NVIDIA em seus sistemas de treinamento de IA, mas também seus próprios computadores de IA Tesla HW4 AI (renomeados para AI4), numa proporção de cerca de 1:2. Isso significa que há o equivalente a cerca de 90.000 H100, mais cerca de 40.000 computadores AI4. Até o final deste ano, o Dojo 1 terá cerca de 8.000 equivalentes em poder de computação H100.
Espera-se que a capacidade total de computação do Dojo atinja 100 exaflops em outubro de 2024. Assumindo que um chip D1 pode alcançar 362 teraflops, para atingir 100 exaflops, a Tesla precisaria de mais de 276.000 chips D1, ou mais de 320.000 GPUs NVIDIA A100.
O chip D1 foi apresentado pela primeira vez no Tesla AI Day em 2021, com 50 bilhões de transistores e do tamanho da palma da mão. Em maio deste ano, o chip D1 entrou em produção, usando o nó de processo de 7nm da TSMC. Para obter maior largura de banda e poder computacional, a equipe de IA da Tesla fundiu 25 chips D1 em um único tile, operando como um sistema de computador unificado. Cada tile tem 9 petaflops de poder computacional e 36 TB/s de largura de banda.
Seis tiles formam um rack, e dois racks formam um gabinete. Dez gabinetes formam um ExaPOD. O Dojo será escalado implantando múltiplos ExaPODs, todos juntos formando o supercomputador.
Processadores em nível de wafer (como o Dojo da Tesla e o WSE da Cerebras) são muito mais eficientes em termos de desempenho do que múltiplos processadores. No entanto, juntar 25 chips também apresenta desafios significativos para a tensão e o sistema de resfriamento. A Tesla está construindo um sistema de resfriamento gigante no Texas.
Além disso, a Tesla também está desenvolvendo a próxima geração de chips Dojo.