Metaが4050億パラメータの大規模モデルをオープンソース化:Llama 3.1が正式リリース

Metaは迅速にオープンソースコミュニティを動員し、OpenAIに競争圧力をかけています。

以下はザッカーバーグのオープンレター、「AI Emergence」による翻訳を日本語に訳したものです:

「オープンソースAIが前進への道」

高性能コンピューティングの初期の頃、当時の主要テクノロジー企業はすべて、独自のクローズドソースのUnixバージョンの開発に多額の投資をしていました。当時は、そのような高度なソフトウェアを開発する他の方法を想像するのは難しかったです。

それにもかかわらず、オープンソースのLinuxが最終的に人気を博しました - 当初は開発者が望むようにコードを修正できることと、より安価だったからです。時間が経つにつれ、Linuxはより高度になり、より安全になり、クローズドなUnixよりもはるかに広範な機能をサポートするエコシステムを持つようになりました。今日、Linuxはクラウドコンピューティングの業界標準の基盤であり、ほとんどのモバイルデバイスを動かすオペレーティングシステムです - 私たちは皆、その優れた製品の恩恵を受けています。

人工知能も同様の進化を遂げると私は信じています。今日、一部のテクノロジー企業が先進的なクローズドソースモデルを開発しています。しかし、オープンソースはこのギャップを急速に埋めています。昨年、Llama 2は最先端から遅れた古い世代のモデルとしか競合できませんでした。今年、Llama 3は最先端のモデルと競合し、一部の分野ではリードしています。来年からは、将来のLlamaが業界で最も進んだものになると期待しています。しかし、それ以前でも、Llamaはすでにオープン性、修正可能性、コスト効率でリードしています。

今日、私たちはオープンソースAIを業界標準にするための次のステップを踏み出しています。業界をリードするレベルの最初のオープンソースAIモデルであるLlama 3.1 405Bを、新しく改良されたLlama 3.1 70Bおよび8Bモデルとともにリリースします。クローズドソースモデルと比較してコストパフォーマンスが優れているだけでなく、405Bモデルがオープンソースであることは、ファインチューニングとより小さなモデルの抽出に最適な選択肢となります。

これらのモデルをリリースするだけでなく、より広範なエコシステムを開発するために様々な企業と提携しています。Amazon、Databricks、Nvidiaは、開発者が独自のモデルをファインチューニングおよび洗練するためのフルスイートのサービスを立ち上げています。Groq(AIチップのスタートアップ)のような革新的な企業は、すべての新しいモデルに対して低レイテンシー、低コストの推論サービスを構築しました。

これらのモデルは、AWS、Azure、Google、Oracleなど、主要なクラウドすべてで利用可能になります。Scale.AI、Dell、Deloitteなどは、企業がLlamaを展開し、独自のデータを使用してカスタムモデルをトレーニングするのを支援する準備ができています。コミュニティが成長し、より多くの企業が新しいサービスを開発するにつれて、私たちは集団でLlamaを業界標準にし、AIの恩恵をすべての人にもたらすことができます。

MetaはオープンソースAIにコミットしています。オープンソースが人々にとって最良の開発スタックである理由、LlamaをオープンソースにすることがMetaにとって良い理由、オープンソースAIが世界にとって良い理由、そしてこれらの理由により、オープンソースコミュニティが長期的に存続する理由について説明します。

オープンソースAIが開発者にとって良い理由

世界中の開発者、CEO、政府関係者と話すとき、通常以下のようなテーマを耳にします:

私たちは独自のモデルをトレーニング、ファインチューニング、洗練する必要があります。

すべての組織には異なるニーズがあり、異なるサイズのモデルがそれらのニーズに最も適合し、特定のデータでトレーニングまたはファインチューニングされます。オンデバイスのタスクや分類タスクにはより小さなモデルが必要で、より複雑なタスクにはより大きなモデルが必要です。

今後は、最先端のLlamaモデルを使用し、独自のデータでそれらを継続的にトレーニングし、最適なサイズのモデルに洗練することができます - 私たちや他の誰かがあなたのデータを見ることなく。

私たちは自分たちの運命をコントロールし、クローズドソースのベンダーに縛られたくありません。

多くの組織は、実行や制御ができないモデルに依存したくありません。クローズドソースのモデルプロバイダーがモデルを変更したり、利用規約を変更したり、あるいはサービスを完全に停止したりする可能性があることを望んでいません。また、特定のモデルに対する独占的な権利を持つ単一のクラウドにロックインされたくありません。オープンソースは、多くの企業と互換性のあるツールのエコシステムを提供し、簡単に切り替えることができます。

私たちはデータを保護する必要があります。

多くの組織は、保護が必要な機密データを扱っており、クラウドAPIを介してクローズドソースモデルに送信することはできません。他の組織は単に、クローズドソースのモデルプロバイダーにデータを信頼していません。オープンソースは、好きな場所でモデルを実行できるようにすることでこれらの問題を解決します。オープンソースソフトウェアの開発がより透明であるため、より安全であることは広く受け入れられています。

効率的で手頃な価格の運用モデルが必要です。

開発者は、ユーザー向けおよびオフラインの推論タスクにおいて、GPT-4oのようなクローズドソースモデルを使用するコストの約50%で、Llama 3.1 405Bの推論を自社のインフラストラクチャ上で実行できます。

長期的な標準になり得るエコシステムに賭けています。

多くの人々は、オープンソースがクローズドソースモデルよりも速く発展していると考えており、長期的に最大の利点を得られるような方法でシステムのアーキテクチャを構築したいと考えています。

オープンソースAIがMetaにとって良い理由

Metaのビジネスモデルは、人々のために最高の体験とサービスを構築することです。これを実現するために、私たちは常に最高の技術にアクセスできるようにする必要があります。競合他社のクローズドなエコシステムにロックインされ、構築できるものが制限されることは避けたいのです。

私の形成的な経験の1つは、Appleが私たちのプラットフォーム上で構築を許可するものによって、私たちのサービスがどのように制約されているかということです。彼らが開発者に課す税金、適用する恣意的なルール、そしてリリースをブロックするすべての製品イノベーションは、MetaやMany他の企業が、競合他社が構築できるものを制限することなく、製品の最高のバージョンを構築できれば、人々のためにより良いサービスを自由に構築できることを明確に示しています。

哲学的に言えば、これが私がAIやAR/VRにおける次世代のコンピューティングのためのオープンソースエコシステムの構築を強く信じている主な理由です。

人々はよく、Llamaをオープンソース化することで技術的優位性を失うことを心配していないかと尋ねますが、これは重要な理由を無視していると思います:

まず、長期的にクローズドなエコシステムにロックインされるのではなく、最高の技術にアクセスできるようにするために、Llamaはツール、効率の改善、シリコンの最適化、その他の統合を含む完全なエコシステムに進化する必要があります。私たちがLlamaを使用する唯一の企業であれば、このエコシステムは発展せず、クローズドなUnixの変種よりも良くはならないでしょう。

第二に、知能が成長するにつれて競争が激化すると予想されます。つまり、その時点では、特定のモデルをオープンソース化しても、より大きな利点を持つ次のモデルに対する優位性は失われません。Llamaが業界標準になるための道は、世代を重ねるごとに一貫して競争し、効率的にオープンソース化することです。

第三に、Metaとクローズドソースのモデルプロバイダーとの重要な違いは、