7月24日未明、Metaは現在最も強力なオープンソース大規模モデルLlama 3.1をリリースしました。同時に、ザッカーバーグは「The Rundown AI」の創設者ロワン・チョンのインタビューに応じ、Llama 3.1とAI発展に対する彼の見解について議論しました。
ザッカーバーグは、長期的に見れば、オープンソースモデルが生み出すエコシステムの方がクローズドモデルよりも安全だと考えています。彼はAIエージェントが最終的にはメールやソーシャルアカウントのように、企業にとって不可欠なツールになると予測しています。彼は次のように述べています：「最終的には、AIエージェントは人間よりも多くなる可能性さえあり、人々はさまざまな方法でそれらと対話するでしょう。明らかに、これも巨大なビジネスチャンスです。」
以下はインタビューの主な内容です：
ロワン・チョン：マーク、今回のインタビューに応じていただき、ありがとうございます。今日MetaはAIモデルの大ニュースを発表しましたが、発表内容とその重要性について概要を教えていただけますか？
マーク・ザッカーバーグ： 今日私たちが発表したのはLlama 3.1で、3つのモデルをリリースしました。これは私たちが初めて4050億パラメータのモデルをリリースしたものです。これは現在最も複雑なオープンソースモデルです。一部の主要なクローズドモデルと比較しても競争力があり、いくつかの分野ではクローズドモデルを上回る性能を示しています。
人々がどのようにこれを活用するか、特に今や私たちのコミュニティポリシーでLlamaを教師モデルとして蒸留や微調整に使用することが許可されているので、基本的にはこれを使って他のどんなモデルでも作れるようになったことを、非常に楽しみにしています。
それに加えて、4050億パラメータモデルを、より新しく先進的な700億と80億パラメータモデルに蒸留しました。これらのモデルも非常に高性能で、コストパフォーマンスも優れています。皆さんがこれらのモデルをどのように使用するか楽しみです。
これはオープンソースAIにとって重要な瞬間だと思います。私はかなり長い間考えてきましたが、オープンソースAIが業界標準になると信じており、Linuxの発展経路を辿ると考えています。
Linuxが普及する前は、多くの企業が独自のクローズドなUnixバージョンを持とうとしていました。当時、複雑なオープンソースプロジェクトは存在しませんでした。人々は、クローズドな開発モデルが複雑な製品を作る唯一の方法だと考えていました。
当初、Linuxは安価で開発者がカスタマイズできるという基盤の上に立脚していました。エコシステムが発展するにつれて、より多くの審査を受け、より安全で高度になりました。より多くのパートナーがLinuxの上に機能を構築し、最終的には他のクローズドなUnixと同じくらい使いやすくなりました。
今、Llama 3.1がオープンソースAIの標準となり、オープンソースをAI業界の標準にする機会があると考えています。性能面でクローズドモデルを上回っていなくても、コストとカスタマイズ性で大きな利点があります。これらは開発者が活用する利点だと思います。
私たちは協力パートナーエコシステムの構築に注力しており、その周りで多くの異なる機能が構築されるのを見ることになるでしょう。
ロワン・チョン：すべてのベンチマークを見ましたが、結果は信じられないほどです。明らかに、これは初めての4050億パラメータのオープンソース最先端モデルです。このモデルを使って人々が構築することを特に期待している具体的な実用的なユースケースはありますか？
マーク・ザッカーバーグ： 私が最も期待しているのは、人々がこれを使って自分のモデルを蒸留し、微調整することです。あなたが言ったように、これは最初のオープンソース最先端モデルですが、最初の最先端モデルではありません。以前からこの能力を持つ他のモデルがありました。
人々は4050億パラメータモデルで直接推論を行いたいと思うでしょう。なぜなら、私たちの推定では、GPT-4oよりも50%安いからです。多くの人にとって、これは影響を与えるでしょう。
しかし、このモデルの本当に新しい点は、オープンソースの重みを持っており、任意のサイズに蒸留でき、合成データ生成に使用でき、教師モデルとして使用できることだと思います。
将来について、私たちはそれが単一のものになるとは考えていません。OpenAIのビジョンは「大きなAI」を構築することで、AnthropicやGoogleも同様のビジョンを持っています。
しかし、それは決して私たちのビジョンではありませんでした。私たちのビジョンは、将来には多くの異なるモデルがあるべきだというものです。私は、すべてのスタートアップ、大企業、すべての政府が自分たちのカスタムモデルを持ちたいと思うだろうと考えています。
クローズドシステムがオープンソースよりもはるかに優れている場合、クローズドモデルを使用する方が確かに便利です。オープンソースモデルはカスタマイズできますが、性能面ではまだギャップがありました。
今は状況が異なります。オープンソースモデルの性能ギャップは基本的に追いついています。より多くの人々が自分のニーズに合わせてモデルをカスタマイズし、構築する動機を持つようになるでしょう。自分のデータで訓練し、自分のスケールに合ったモデルを作るでしょう。
彼らはそれを行うためのツールも持つことになります。なぜなら、AmazonのAWSやDatabricksなどの企業が、オープンソースモデルの蒸留と微調整のための完全なサービススイートを構築しているからです。
私の見方では、これが現在の新しい状況です。この傾向がどこまで進むか楽しみです。これは世界で前例のない新しい能力です。なぜなら、以前にはこのレベルの複雑さを持つオープンソースまたはオープンウェイトモデルが存在しなかったからです。
ロワン・チョン：これは確かに大きなことです。開発者にこれらのツールの使用方法をどのように教育しますか？より広い意味で、Metaはオープンソースモデルとその重要性を世界に教育するための計画や戦略はありますか？
マーク・ザッカーバーグ： Llama 3.1以前は、Metaがこの分野に投資した根本的な理由は、自分たちが最先端のモデルを使えるようにすることでした。私たちの歴史、特にモバイルの歴史から、競合他社の基礎技術に依存したくありませんでした。だから自分たちでモデルを構築しました。
Llama 3.1以前は、オープンソース化すれば、コミュニティがその周りに集まり、機能を拡張し、私たち自身を含むすべての人にとってより価値のあるものにすると本能的に考えていました。なぜなら最終的に、これは単なる技術ではなく、エコシステムだからです。私たち自身にとってより有用なものにするには、広範なエコシステムが必要です。
Llama 3.1がもたらした大きな変化は、単に自分たちのために構築してから開発者に使ってもらうのではなく、より積極的にパートナーシップを構築し、モデルを使って面白いことができる企業の全エコシステムを確保し、私たちにはできない方法で開発者にサービスを提供できるようにしたことです。
私たちはクラウドサービスプロバイダーではありません。AWS、Google、Azureではないので、開発者は私たちのところに来て自分たちのものを構築することはありません。しかし、これらすべてのクラウドサービスプロバイダーがこのモデルをうまく使えるようにする必要があります。
これはホスティングと推論だけでなく、蒸留や微調整などの新機能も含みます。これらの機能はクローズドモデルでは簡単に実現できないので、これらの機能を実現するためにパートナーと具体的な作業を行う必要があります。
同時に、Groqのような超低遅延推論に特化した企業もあります。Groqに渡せて嬉しいです。彼らは今それを使って新しいものを構築しています。
また、Dell、Scale AI、DeloitteやAccentureなど、世界中の企業と協力して技術展開を行う一連の企業もあります。これらの企業がカスタムモデルの構築を支援すると思います。
大企業であれ政府であれ、多くの企業が自社のモデルを持ち、自社のデータで訓練したいと考えています。多くの企業がAPIを通じてGoogleやOpenAIにデータを送ることを望んでいません。これらの企業にプライバシーの問題があるからではありません。
それはむしろ、人々がWhatsAppのエンドツーエンド暗号化を好むのと同じように、構造的に安全で、データを自分の手元に保持できることを望んでいるからです。
この分野でも市場が形成されると思います。私はこれにとてもワクワクしています。
今回、エコシステムの構築においてより積極的なアプローチを取りました。なぜなら、これが成長し、すべての人にとってより多くの価値を創造する方法だと考えているからです。
ロワン・チョン：開発者コミュニティとの密接なつながりが好きです。私自身もコミュニティの一員として、人々が本当にこれらのプライベートでローカルなモデルを必要としていることを知っています。次に、あなたのオープンレターについて話しましょう。Metaの発表に加えて、あなたは手紙を発表しました。最初の部分は開発者にとってのオープンソースの利点に焦点を当てており、非常に的確だと感じました。オープンソースAIが社会に与える広範な影響についてもう少し詳しく教えていただけますか？
マーク・ザッカーバーグ： 私の見解は、オープンソースが良好なAIの未来を実現するための重要な要素だということです。AIは生産性と創造性の向上をもたらし、研究などの助けになることを期待しています。
オープンソースは、AIが少数の大企業の手に閉じ込められるのではなく、すべての人に恩恵をもたらし、誰もが使えるようにするための重要な部分だと考えています。
同時に、オープンソースはより安全で信頼できるAI開発の方法になると考えています。
現在、オープンソースの安全性に関する議論があります - 「オープンソースは本当に安全なのか？」
私の見方は異なります。オープンソースは安全なだけでなく、クローズドな開発よりも安全だと考えています。
リスクを「意図せざる」ものと「意図的な」ものに分けることができます。「意図せざる」リスクは、システムが何らかの形で制御不能になることで、これはほとんどのSF小説でAIが制御不能になるシナリオです。
オープンソースはこの点でより安全だと考えています。なぜなら、より多くの審査があり、より透明性があるからです。すべての開発者がそれを使用する際に、安全ガイドラインと安全ツールがあり、従来のオープンソースソフトウェアと同様に、多くの審査とテストの圧力があります。クローズドモデルと比較して、問題がより早く発見され、解決されるでしょう。