Am 22. Juli gab Elon Musk auf X bekannt, dass der Memphis-Supercomputer-Cluster, der von xAI, X, NVIDIA und anderen unterstützenden Teams gebaut wurde, um 4:20 Uhr Ortszeit mit dem Training begann.
Der Cluster besteht aus 100.000 flüssigkeitsgekühlten H100-Chips und ist damit der leistungsstärkste Supercomputer-Cluster der Welt. In einem Interview mit dem Psychologen Jordan Peterson enthüllte Musk, dass es nur 19 Tage von der Hardware-Installation bis zum Trainingsbeginn dauerte.
Musk teilte auch mit, dass das Training von Grok 2 abgeschlossen ist und nächsten Monat veröffentlicht wird. Grok 3 wird derzeit im Memphis-Supercomputer-Zentrum trainiert und soll bis Ende des Jahres veröffentlicht werden, möglicherweise als das leistungsstärkste Modell auf dem Markt.
Allerdings äußerte Musk wachsende Bedenken hinsichtlich der KI-Sicherheit. Er glaubt, dass KI auf "pro-menschlichen" Prinzipien basieren muss, im Gegensatz zu den Zielen anderer Unternehmen, eine digitale Superintelligenz zu schaffen, die weitaus intelligenter als Menschen ist.
Bezüglich der aktuellen Leistung von Grok gab Musk zu, dass das Basismodell auf X nicht sehr stark ist und eine Größenordnung schwächer als ChatGPT ist. Er betonte die schnellen Fortschritte von xAI und wies darauf hin, dass sie in nur 19 Tagen ein großes Trainingszentrum aufgebaut haben.
Die Memphis "Supercomputer-Fabrik" verfügt über 100.000 flüssigkeitsgekühlte H100 GPUs, die auf einer einzigen RDMA-Struktur laufen, mit einem geschätzten Wert von 3-4 Milliarden Dollar. In Bezug auf die Rechenleistung ist sie etwa 20 Mal leistungsfähiger als das Setup, das für das Training von OpenAIs GPT-4 verwendet wurde.
Musk enthüllte, dass Grok 2 mit dem neuesten Modell von ChatGPT (GPT-4) vergleichbar sein sollte. Grok 3, das sich derzeit im Training befindet, soll vor Dezember veröffentlicht werden und könnte zu diesem Zeitpunkt potenziell die leistungsstärkste KI der Welt sein.
Bei der Diskussion über KI-Risiken betonte Musk die Bedeutung von "pro-menschlichen" Prinzipien in der KI-Entwicklung. Er äußerte Bedenken über das Ziel, eine digitale Superintelligenz zu schaffen, die weitaus intelligenter als Menschen ist, was er für nicht vorteilhaft hält.
Musk teilte auch seine Meinungsverschiedenheiten mit dem ehemaligen Google-CEO Larry Page über KI und die Zukunft der Menschheit. Er betonte die Wichtigkeit, Menschen gegenüber Maschinen zu unterstützen.
In Bezug auf OpenAI, das Musk 2015 mitbegründete, aber 2018 aufgrund ideologischer Differenzen verließ, kritisierte er die Organisation dafür, von ihrer ursprünglichen Open-Source-, Non-Profit-Mission abgewichen zu sein. Musk enthüllte, dass er rechtliche Schritte in Erwägung zieht, um zu verstehen, wie die von ihm finanzierte Organisation Ziele verfolgen konnte, die im Widerspruch zu ihrem ursprünglichen Zweck stehen.