马斯克在19天内打造超级计算巨头:10万台H100 GPU助力Grok于3年底问世

马斯克仅用19天完成超级计算机工厂建设,用于训练其Grok人工智能系统。

7月22日,埃隆·马斯克在X上宣布,由xAI、X、NVIDIA和其他支持团队建造的Memphis超级计算机集群于当地时间凌晨4:20开始训练。

该集群由100,000个液冷H100芯片组成,使其成为世界上最强大的超级计算机集群。在接受心理学家乔丹·彼得森采访时,马斯克透露从硬件安装到开始训练仅用了19天。

马斯克还分享说,Grok 2的训练已经完成,将于下个月发布。Grok 3目前正在Memphis超级计算机中心进行训练,预计将于年底发布,可能成为市场上最强大的模型。

然而,马斯克对AI安全的担忧日益增加。他认为AI必须基于"亲人类"原则,这与其他公司创造远比人类聪明的数字超级智能的目标形成对比。

关于Grok目前的表现,马斯克承认X上的基本模型并不是很强,比ChatGPT弱一个数量级。他强调了xAI的快速进展,指出他们仅用19天就建立了一个大型训练中心。

Memphis"超级计算机工厂"拥有100,000个液冷H100 GPU,运行在单一RDMA结构上,估值30-40亿美元。在计算能力方面,它比用于训练OpenAI的GPT-4的设置强大约20倍。

马斯克透露,Grok 2应该可以与ChatGPT的最新模型(GPT-4)相媲美。目前正在训练的Grok 3预计将在12月前发布,届时可能成为世界上最强大的AI。

在讨论AI风险时,马斯克强调了AI开发中"亲人类"原则的重要性。他对创造远比人类聪明的数字超级智能的目标表示担忧,认为这并不有益。

马斯克还分享了他与前谷歌CEO拉里·佩奇关于AI和人类未来观点的分歧。他强调支持人类而非机器的重要性。

关于马斯克2015年共同创立但于2018年因理念分歧而离开的OpenAI,他批评该组织偏离了最初的开源、非营利使命。马斯克透露他正在考虑采取法律行动,以了解他资助的组织如何能够追求与其初衷相悖的目标。