01 大規模言語モデルの訓練は高額、Metaはどのように投資を回収するのか？
Metaの印刷機事業 - 情報フィードと推薦システムが大規模言語モデルによって「揺らいでいる」
ジェンスン・フアン：マーク、SIGGRAPHへの初参加を歓迎します。信じられますか?コンピューター分野の先駆者の一人、現代コンピューティングの推進者であるあなたをSIGGRAPHに招待することになるとは。来ていただき嬉しいです。
ザッカーバーグ：ええ、面白そうですね。もう5時間くらい話していますよね?
ジェンスン・フアン：そうですね、これがSIGGRAPHです。ここの90%は博士号保持者です。SIGGRAPHの素晴らしいところは、コンピューターグラフィックス、画像処理、人工知能、ロボット工学を組み合わせた展示会だということです。長年にわたり、多くの企業がここで素晴らしいものを展示し発表してきました。ディズニー、ピクサー、Adobe、Epic Games、そしてもちろんNVIDIAも。
今年はここで多くの仕事をしました:AIとシミュレーションの交差領域で20本の論文を発表しました。AIを使ってシミュレーションをより大規模に、より高速に実行できるようにしています。例えば、微分可能物理学では、シミュレーションを使ってAIのための模擬環境を作成し、合成データ生成に使用しています。この2つの分野が本当に融合しつつあります。
Metaは実際、AI分野で素晴らしい仕事をしています。面白いのは、メディアがMetaがここ数年突然AIに投資し始めたと書くとき、FAIRの過去の業績を知らないかのようだということです。実際、私たちは皆、Metaがオープンソース化した深層学習フレームワークPyTorchを使用しています。そして、Metaのコンピュータービジョン、言語モデル、リアルタイム翻訳の分野での仕事は画期的でした。
最初の質問は、生成AIにおけるMetaの進展をどのように見ているかということです。それはどのようにあなたたちのビジネスを強化したり、新しい能力をもたらしたりするでしょうか?
ザッカーバーグ：あなたたちに比べれば、私たちはまだ新参者です。しかし、MetaはSIGGRAPHに8年間参加しています。2018年には、VRと混合現実ヘッドセット用のハンドトラッキングの初期の成果を展示しました。また、消費者向けヘッドセットで表示するリアルなアバターのためのコーデックアバターの進歩についても多く議論してきました。
また、ディスプレイシステムに関する多くの作業、将来のプロトタイプや研究、混合現実ヘッドセットを非常に薄くする方法などがあります。私が望むのは、非常に高度な光学スタック、ディスプレイシステム、統合システムです。
だから、ここに来られて嬉しいです。今年は、メタバースだけでなく、AIに関するすべてについて話します。あなたが言ったように、Reality Labsを始める前にFAIRを設立しました。当時はまだFacebookと呼ばれていましたが、今はもちろんMetaです。だからAIについては長年の蓄積があります。
生成AIについては、これは面白い革命で、最終的には私たちのすべての製品を根本的に変えると思います。例えば、InstagramとFacebookのフィードと推薦システムは、何十年も進化してきましたが、AIによってさらに変化するでしょう。
最初のフィードは友人とのつながりに関するものだけでした。この場合、フィードの並べ替えが重要です。誰かが非常に重要なことをした場合、例えばいとこが子供を産んだような場合、それが一番上に表示されることを望みます。もしそれをフィードのどこかに埋めてしまったら、あなたは非常に怒るでしょう。
しかし、過去数年間で、フィードは別の段階に発展し、公開コンテンツに関するより多くのコンテンツ表示が必要になりました。この場合、推薦システムが非常に重要になります。なぜなら、友人からの数百、数千の投稿だけでなく、何百万ものコンテンツがあなたの前に表示されるのを待っているからです。これは非常に興味深い推薦問題になりました。
生成AIがあれば、私たちはすぐに新しい段階に入るでしょう。今日、Instagramで見るコンテンツの大部分は、あなたがフォローしているかどうかに関わらず、世界中の誰かが書いた、あなたの興味に合うコンテンツを推薦したものです。しかし将来的には、その一部はクリエイターがツールを使って作成した新しいコンテンツになり、さらにはあなたのためにリアルタイムで作成されたり、既存の異なるコンテンツを組み合わせて生成されたりするコンテンツもあるでしょう。
これは、私たちの核となるビジネスがどのように進化するかの一例に過ぎません。それはすでに20年間進化してきましたが、ほとんどの人はそれに気づいていません。
Llama4の秘密を明かし、AIアシスタントをMetaの全製品ラインで「アンロック」する
ジェンスン・フアン：しかし、人々は世界最大の計算システムの1つが推薦システムであることに気づいています。
ザッカーバーグ：これは全く異なるパスで、人々が現在話している生成AIとは完全に同じではありません。それでも、すべてTransformerアーキテクチャであり、非構造化データを特徴に埋め込む、ますます汎用的なシステムを構築しています。
しかし、2つの方法には質的な違いがあります。過去には、異なるタイプのコンテンツに対して異なるモデルを訓練していました。例えば、MetaのショートビデオアプリReelsのランキングと推薦用のモデル、長尺ビデオのランキングと推薦用の別のモデルなどです。そして、システムがどんなコンテンツでもインラインで表示できるようにするために、いくつかの製品作業が必要でした。
より汎用的な推薦モデルを作成するにつれて、それはますます良くなります。なぜなら、異なるプールから引き出すような非効率的な方法ではなく、より広範なコンテンツプールから引き出すことができるからです。
今、モデルがより大きく汎用的になるにつれて、それはますます良くなるでしょう。私の夢は、いつかFacebookやInstagramのすべてのコンテンツが、単一のAIモデルによって駆動されることです。これらの異なるコンテンツタイプとシステムをすべて統一します。現実には、アプリには異なる時間枠で異なる推薦目標があります。その中には、今日見たい面白いコンテンツを表示するだけのものもありますが、長期的な人脈ネットワークの構築を助けるものもあります。この場合、これらのマルチモーダルモデルは、パターンや弱い信号などを識別するのが得意になる傾向があります。
ジェンスン・フアン：AIがあなたの会社でそれほど深く使われているとは知りませんでした。長い間、これらの大規模な推薦システムを実行するためのGPUインフラストラクチャを構築してきたのですね。
ザッカーバーグ：実際、GPUの使用に関しては少し遅れていました。
ジェンスン・フアン：はい、あなたが自ら認めているようですね（笑）。
今、AIで本当にクールなのは、WhatsAppを使用しているとき、WhatsAppと「協力している」ように感じることです。私が入力すると、その意図に沿って画像を生成し続けるのを想像してください。言葉を変えると、別の画像を生成します。例えば、「夕日を背景に3匹の犬と一緒にウイスキーを楽しむ年配の中国人男性」と入力すると、かなり良い画像が生成されます。
ザッカーバーグ：一方で、生成AIは長年にわたる私たちのすべてのワークフローと製品の大きなアップグレードになると思います。
しかし他方で、これらの全く新しいものが作られ、生成されることができます。Meta AIのようなAIアシスタントは、さまざまなタスクを支援することができます。私たちの世界では、それは非常にクリエイティブになり、時間の経過とともにあらゆる質問に答えることができるようになるでしょう。
将来、Llama 3のモデルからLlama 4以降のバージョンに切り替えるとき、Meta AIはもはや単なるチャットボットではなくなると思います。代わりに、あなたの意図を理解した後、複数の時間枠で自律的に作業するでしょう。例えば、最初に意図を与えると、それが起動し、数週間または数ヶ月の計算タスクの後、結果を報告してくれるでしょう。これは非常に強力になると思います。
ジェンスン・フアン：あなたが言ったように、今日のAIは一問一答の方式ですが、明らかに人間の思考はそうではありません。タスクや問題が与えられたとき、私たちは複数のオプションを考え、決定木を思い浮かべ、頭の中でシミュレーションを実行し、各決定の異なる結果を考えます。このような計画立案や意思決定を、将来のAIも同様に行うことができるようになるでしょう。
クリエイターAIに関するあなたのビジョンについて話すとき、私はとてもワクワクしました。あなたの計画を皆に教えてください。
ザッカーバーグ：少し話しましたが、今日、私たちはそれをより広く展開しています。1つのAIモデルだけではないと思います。これは業界の他の一部の企業のアプローチで、中央集権的なエージェントを構築しています。
私たちは違います。Meta AIアシスタントを使用できるようにしますが、Meta製品を使用するすべての人が独自のエージェントを作成できるようにしたいと考えています。プラットフォーム上の何百万人のクリエイターや何億もの小規模ビジネスが、顧客と対話できるビジネスエージェントを迅速に構築できるようにしたいのです。例えば、販売や顧客サービスなどです。
そのため、Metaは現在、AI Studioと呼ばれるツールセットをより多く展開し始めています。これは最終的に、すべてのクリエイターが自分のAIバージョンを構築できるようにするツールセットです。これはある種のエージェントやアシスタントとして機能し、コミュニティメンバーがそれと対話できるようになります。
クリエイターの場合、コミュニティとより多くの対話をしたいと思っても、時間とエネルギーに制限があります。より良い選択肢は、人々がこれらのAIを作成できるようにすることです。あなたのコーパスに基づいて、望む方法で訓練し、あなたを代表させることができます。クリエイター本人と対話しているわけではないことは非常に明確ですが、これは別の面白い方法です。実際のクリエイターがこれらのソーシャルシステム上でコンテンツを投稿するのと同じように、エージェントがそれを行うことができます。
同様に、人々は自分のビジネスのためにこれらのエージェントを作成すると思います。