在7月24日凌晨,Meta发布了目前最强大的开源大模型Llama 3.1。同时,扎克伯格接受了"The Rundown AI"创始人Rowan Cheung的采访,讨论了Llama 3.1以及他对AI发展的看法。
扎克伯格认为,从长远来看,开源模型创造的生态比封闭模型更安全。他预测AI智能体最终会像电子邮件和社交账号一样,成为企业必备的工具。他表示:"最终,AI智能体甚至可能会比人类还多,人们会以各种方式与之互动。显然,这也是一个巨大的商机。"
以下是采访的主要内容:
Rowan Cheung: 马克,非常感谢你来做这次访谈。今天Meta发了重磅AI模型,你能概述一下发布的内容及其重要性吗?
马克·扎克伯格: 今天我们发布的是Llama 3.1,我们发布了三个模型。这是我们首次发布4050亿参数的模型。这是目前为止最复杂的开源模型。和一些领先的封闭模型相比,它很有竞争力,在某些领域上的表现甚至还超越了封闭模型。
我非常期待看到人们如何利用它,特别是现在我们的社区政策允许人们使用Llama作为教师模型来进行蒸馏和微调,基本上可以用它创建任何其他模型。
除此之外,我们还将4050亿参数模型蒸馏成了更新、更领先的700亿和80亿参数模型。这些模型的性能也非常好,性价比也很高。我很期待看到大家如何使用这些模型。
我认为这是开源AI的重要时刻。我想了挺长一段时间,我认为开源AI会成为行业标准,我认为它会遵循Linux的发展路径。
在Linux流行之前,有很多公司想着有自己的封闭版Unix,当时没有任何复杂的开源项目。人们会觉得,封闭开发模式是唯一一种可以做复杂产品的开发方式。
起初,Linux的立足点是建立在它更便宜,而且开发者可以定制化的基础上。随着生态的发展,它有更多的审查,变得更安全、更高级。更多的伙伴在Linux基础上建立了更多功能,最后让它变得和其他封闭Unix一样好用。
现在,我认为Llama 3.1有机会成为开源AI标准,使开源成为AI行业标准。即使它在性能上还没有超越封闭模型,但在成本和可定制性上有很大的优势。我认为这些是开发者们会利用的优势。
我们正在专注搭建一个合作伙伴生态系统,围绕着它,我们将看到很多不同的功能被搭建起来。
Rowan Cheung: 我看到了所有的基准测试,结果令人难以置信。显然,这是第一个4050亿参数的开源前沿模型。有没有哪些具体的实际应用案例,是你特别期待人们会用这个模型来构建的?
马克·扎克伯格: 我最期待看到的是,人们用它来蒸馏和精调自己的模型。就像你所说的,这是第一个开源前沿级模型,但它不是第一个前沿级模型。之前已经有其他具有这种能力的模型。
人们会想要直接在4050亿参数模型上进行推理,因为我们估计它比GPT-4o便宜50%。对于很多人来说,这能带来些影响。
然而,我认为这个模型真正新颖的地方在于,它是开源权重的,能够将其蒸馏成任何你想要的大小,用于合成数据生成,作为教师模型使用。
对于未来,我们不认为它会是属于单一事物的。就像,OpenAI的愿景是搭建一个"大AI",Anthropic和Google也有类似的愿景。
但那从来不是我们的愿景。我们的愿景是未来应该有许多不同的模型。我认为每个创业公司、大企业、每个政府都想拥有自己的定制模型。
当封闭系统比开源好很多时,使用封闭模型的确更方便。虽然开源模型可以自定义,但在性能上还是有差距。
现在情况不同了。开源模型在性能上的差距基本上已经追上。你会看到更多人有动力去定制和构建适合自己需求的模型,用自己的数据训练,合适自己规模的模型。
他们也会有工具去这样做,因为Amazon的AWS和Databricks等公司正在构建完整的服务套件,用于蒸馏和微调开源模型。
在我看来,这是现在的新情况。我们很期待这个趋势能被推进到什么程度。这是世界上前所未有的新能力,因为以前没有一个开源或开源权重模型达到过这种复杂程度。
Rowan Cheung: 这的确是一件大事。你们将如何教育开发者使用这些工具?更广泛来说,Meta是否有计划或策略去向世界科普开源模型和它的重要性?
马克·扎克伯格: 在Llama 3.1之前,Meta在这方面投资的根本原因是,我们要确定自己能用上领先的模型。由于我们的历史,特别是移动端的历史,我们不想依赖某个竞争对手的基础技术。所以我们为自己构建了模型。
在Llama 3.1之前,我们本能地认为,如果我们开源,它会吸引来一个社区围绕它成长,扩展其功能,使其对所有人更有价值,包括我们自己。因为最终,这不仅仅是一项技术,它是一个生态系统。为了让它对我们更有用,还需要一个广泛的生态系统。
Lama 3.1带来的一个大变化是,我们不再只是为自己构建,然后扔出去让开发者使用,而是更积极地建立合作伙伴关系,确保有一整个生态系统的公司,都可以用这个模型去做有趣的事情,并以我们无法做到的方式为开发者服务。
我们不是云服务提供商,不是AWS、Google或Azure,所以开发者不会来找我们构建他们的东西,但我们要确保所有这些云服务商都能够很好地使用这个模型。
这不仅涉及到托管和推理,还包括一些新功能,比如蒸馏和微调,这些功能在封闭模型中不太容易实现,所以我们必须与合作伙伴进行具体工作来实现这些功能。
与此同时,也会有像Groq这样专注于超低延迟推理的公司。我很开心能把它交到Groq手上,他们现在在用它来建新东西。
还有一系列企业,比如Dell、Scale AI、Deloitte或Accenture,他们与全球企业合作进行技术部署。我认为这些公司会帮助构建定制模型。
无论是大企业还是政府,很多公司都希望拥有自己的模型并能训练自己数据。不少公司不愿意通过API将数据传给Google或OpenAI,并不是因为这些公司存在隐私问题。
那更像人们爱用WhatsApp端到端加密那样,他们希望在结构设计上就是安全的,数据也可以保留在自己手上。
我认为这方面也会有一个市场建立起来。我对此非常兴奋。
这次我们在建立生态系统方面采取了更积极的态度,因为我认为这是它成长并对每个人创造更多价值的方法。
Rowan Cheung: 我喜欢你们与开发者社区的紧密联系。我自己也是社区的一员,知道大家确实需要这些私有和本地模型。接下来聊聊你的公开信,除了Meta的公告,你还发表了一封信,第一部分重点介绍了开源对开发者的好处,感觉说得很准。你能多谈谈开源AI对社会的广泛影响吗?
马克·扎克伯格: 我的观点是,开源是实现一个好的AI未来的重要因素。AI会带来很多生产力和创造力的提升,希望还能帮助我们做研究等等。
我认为,开源是确保AI可以惠及所有人,让人人都能使用的重要部分,而不是让AI仅仅锁在少数大公司手中。
同时,我认为开源将是更安全、更可靠的AI开发方式。
现在有一种关于开源安全性的争论——"开源真的安全吗?"
我的看法不同。我认为开源不仅安全,还比封闭开发更安全。
我们可以将风险分为"无意"和"有意"两种。"无意"的风险是系统以某种方式失控,这也是大多数科幻小说中AI失控的情景。
我认为开源在这方面更安全,因为有更多的审查、更透明。所有开发者使用它时,也会有安全指引和安全工具,也有很多审查和测试压力,就像传统的开源软件一样。和封闭模型相比,问题会被更快地发现和解决。