01 Große Modelle zu trainieren ist teuer, wie verdient Meta das Geld zurück?
Metas Gelddruckmaschine - Newsfeeds und Empfehlungssysteme - wird durch große Modelle "erschüttert"
Jensen Huang: Mark, willkommen zu deinem ersten Besuch bei SIGGRAPH. Kannst du es glauben? Als einer der Pioniere der Computerbranche und Treiber des modernen Computings muss ich dich tatsächlich zu SIGGRAPH einladen. Ich freue mich, dass du hier bist.
Zuckerberg: Ja, es wird sicher interessant. Du sprichst jetzt schon seit etwa fünf Stunden, oder?
Jensen Huang: Ja, so ist SIGGRAPH, hier sind 90% Doktoren. Das Beste an SIGGRAPH ist, dass es eine Messe ist, die Computergrafik, Bildverarbeitung, künstliche Intelligenz und Robotik vereint. Über die Jahre haben viele Unternehmen hier erstaunliche Dinge gezeigt und enthüllt, wie Disney, Pixar, Adobe, Epic Games und natürlich NVIDIA.
Dieses Jahr haben wir hier viel gearbeitet: Wir haben 20 Arbeiten an der Schnittstelle von KI und Simulation veröffentlicht; wir nutzen KI, um Simulationen in größerem Maßstab und schneller durchzuführen. Zum Beispiel differenzierbare Physik, wir nutzen Simulation, um simulierte Umgebungen für KI zu schaffen, für die Erzeugung synthetischer Daten, diese beiden Bereiche verschmelzen wirklich.
Meta hat tatsächlich erstaunliche Arbeit im Bereich KI geleistet. Ich finde es interessant, dass die Medien, wenn sie darüber schreiben, dass Meta in den letzten Jahren plötzlich in KI investiert hat, anscheinend die früheren Errungenschaften von FAIR (Facebook AI Research, Metas KI-Forschungsabteilung, gegründet 2013) nicht kennen. Tatsächlich nutzen wir alle PyTorch, das Open-Source-Deep-Learning-Framework von Meta (ein unverzichtbares Tool für KI-Forschung und -Entwicklung), und Metas Arbeit in den Bereichen Computer Vision, Sprachmodelle und Echtzeit-Übersetzung war bahnbrechend.
Meine erste Frage an dich ist, wie siehst du Metas Fortschritte bei generativer KI? Wie wird sie euer Geschäft verbessern oder neue Fähigkeiten einführen?
Zuckerberg: Im Vergleich zu euch sind wir noch Neulinge. Aber Meta nimmt schon seit acht Jahren an SIGGRAPH teil. 2018 haben wir einige unserer frühesten Handtracking-Arbeiten für unsere VR- und Mixed-Reality-Headsets gezeigt. Wir haben auch viel über unsere Fortschritte bei Codec-Avataren gesprochen, für realistische Avatare in Consumer-Headsets.
Und wir haben viel Arbeit in Displaysysteme gesteckt, einige zukünftige Prototypen und Forschung, um Mixed-Reality-Headsets sehr dünn zu machen. Ich möchte sehr fortschrittliche optische Stacks, Displaysysteme und integrierte Systeme.
Es ist also schön, hier zu sein, und dieses Jahr geht es nicht nur um das Metaverse, sondern um alles rund um KI. Wie du sagtest, haben wir FAIR gegründet, bevor wir mit Reality Labs (Metas Metaverse-F&E-Abteilung) begonnen haben, als wir noch Facebook hießen, jetzt natürlich Meta. Wir haben also jahrelange Erfahrung in KI.
Was generative KI angeht, ist das eine interessante Revolution, und ich denke, sie wird letztendlich alle unsere Produkte grundlegend verändern.
Zum Beispiel die Newsfeeds und Empfehlungssysteme von Instagram und Facebook, die wir seit Jahrzehnten weiterentwickeln, werden durch KI noch weiter verändert.
Ursprünglich ging es in den Feeds nur um Verbindungen zu Freunden, und in diesem Fall war die Sortierung des Feeds entscheidend. Denn wenn jemand etwas sehr Wichtiges getan hat, wie wenn dein Cousin ein Baby bekommen hat, möchtest du, dass es ganz oben erscheint. Wenn wir es irgendwo in deinem Feed vergraben hätten, wärst du sehr verärgert gewesen.
Aber in den letzten Jahren haben sich die Feeds zu einer anderen Phase entwickelt, in der es mehr um die Präsentation öffentlicher Inhalte geht, die du brauchst. In diesem Fall werden Empfehlungssysteme extrem wichtig. Denn es geht nicht mehr nur darum, ein paar hundert oder tausend Posts von Freunden zu zeigen, sondern es gibt Millionen von Inhalten, und das wird zu einem sehr interessanten Empfehlungsproblem.
Und mit generativer KI werden wir bald in eine neue Phase eintreten. Heute ist der Großteil dessen, was du auf Instagram siehst, Inhalte, die dir empfohlen werden, die jemand auf der Welt geschrieben hat und die zu deinen Interessen passen, egal ob du diesen Personen folgst oder nicht. Aber in Zukunft wird ein Teil davon neue Inhalte sein, die Ersteller mit Tools erstellen, und einige Inhalte werden sogar in Echtzeit für dich erstellt oder durch die Synthese verschiedener bestehender Inhalte generiert.
Das ist nur ein Beispiel dafür, wie sich unser Kerngeschäft entwickeln wird, es hat sich schon 20 Jahre lang entwickelt, aber nur wenige Menschen erkennen das.
Enthüllung von Llama4, wie KI-Assistenten in Metas gesamter Produktfamilie "intelligente Agenten" freischalten
Jensen Huang: Aber die Leute erkennen, dass eines der größten Computersysteme der Welt ein Empfehlungssystem ist.
Zuckerberg: Das ist ein völlig anderer Weg, es ist nicht ganz die generative KI, über die die Leute jetzt sprechen. Obwohl es sich um die Transformer-Architektur handelt und alles darauf abzielt, immer allgemeinere Systeme aufzubauen, die unstrukturierte Daten in Features einbetten.
Aber die beiden Ansätze unterscheiden sich qualitativ. In der Vergangenheit haben wir für verschiedene Inhaltstypen unterschiedliche Modelle trainiert, zum Beispiel ein Modell für die Sortierung und Empfehlung von Meta-Kurzvideos Reels und ein anderes für lange Videos. Dann musste man einige Produktarbeiten leisten, damit das System jeden Inhalt inline anzeigen konnte.
Je mehr allgemeine Empfehlungsmodelle du erstellst, desto besser wird es, weil du aus einem breiteren Pool von Inhalten schöpfen kannst, anstatt ineffizient aus verschiedenen Pools zu schöpfen.
Jetzt, da die Modelle größer und allgemeiner werden, werden sie immer besser. Ich träume davon, dass eines Tages der gesamte Inhalt von Facebook oder Instagram wie ein einziges KI-Modell angetrieben wird, das all diese verschiedenen Inhaltstypen und Systeme vereint. In Wirklichkeit haben die Apps zu verschiedenen Zeiten unterschiedliche Empfehlungsziele, einige zeigen dir nur interessante Inhalte, die du heute sehen möchtest, aber einige helfen dir, dein langfristiges Netzwerk aufzubauen, und in diesem Fall sind diese multimodalen Modelle oft besser darin, Muster und schwache Signale zu erkennen.
Jensen Huang: KI wird also so tief in deinem Unternehmen eingesetzt. Ihr baut schon seit langem GPU-Infrastruktur auf, um diese großen Empfehlungssysteme zu betreiben.
Zuckerberg: Tatsächlich waren wir bei der Verwendung von GPUs etwas langsam.
Jensen Huang: Ja, du scheinst Fehler zuzugeben, du musst das nicht von dir aus ansprechen (lacht).
Das wirklich Coole an KI jetzt ist, dass ich, wenn ich WhatsApp benutze, das Gefühl habe, mit WhatsApp "zusammenzuarbeiten". Stell dir vor, ich tippe und es generiert Bilder, die meinem Tippen folgen. Wenn ich meine Wortwahl ändere, generiert es andere Bilder. Zum Beispiel gebe ich ein: Ein alter Chinese genießt bei Sonnenuntergang ein Glas Whisky, mit drei Hunden daneben; und es generiert ein ziemlich gutes Bild.
Zuckerberg: Einerseits denke ich, dass generative KI ein enormes Upgrade für alle unsere langjährigen Arbeitsabläufe und Produkte sein wird.
Andererseits können all diese völlig neuen Dinge erschaffen und generiert werden. Wie KI-Assistenten wie Meta AI, die dir bei verschiedenen Aufgaben helfen können. In unserer Welt wird es sehr kreativ sein, es wird in der Lage sein, im Laufe der Zeit jede Frage zu beantworten.
In Zukunft, wenn wir von Llama 3-Modellen zu Llama 4 und späteren Versionen wechseln, denke ich, dass Meta AI nicht mehr nur wie ein Chatbot sein wird, der eine Frage nach der anderen beantwortet. Stattdessen wird es, nachdem es deine Absicht verstanden hat, autonom über mehrere Zeitrahmen hinweg arbeiten. Du gibst ihm zum Beispiel anfangs eine Absicht, es startet, und nach Wochen oder Monaten der Berechnungsaufgaben kommt es zurück und teilt dir die Ergebnisse mit. Ich denke, das wird sehr mächtig sein.
Jensen Huang: Wie du sagst, funktioniert KI heute in einer Frage-Antwort-Weise, aber offensichtlich denken Menschen nicht so. Wenn wir eine Aufgabe oder ein Problem gestellt bekommen, denken wir über mehrere Optionen nach, entwickeln vielleicht einen Entscheidungsbaum, simulieren ihn in unserem Kopf und überlegen, was die verschiedenen Ergebnisse jeder Entscheidung sein könnten. Solche Planung und Entscheidungsfindung wird KI in Zukunft auch ähnlich machen können.
Als du über deine Vision für Creator-KI gesprochen hast, war ich sehr aufgeregt. Erzähl den Leuten von deinen Plänen.
Zuckerberg: Wir haben schon ein bisschen darüber gesprochen, aber wir führen es heute breiter ein. Ich glaube nicht, dass es nur ein KI-Modell geben wird, das ist der Ansatz einiger anderer Unternehmen in der Branche, einen zentralisierten Agenten aufzubauen.
Wir sind anders, wir werden den Meta AI-Assistenten für dich zur Verfügung stellen, aber wir möchten, dass jeder, der Meta-Produkte nutzt, die Möglichkeit hat, seine eigenen Agenten zu erstellen. Ob es sich um die Millionen von Erstellern auf der Plattform handelt oder um Hunderte Millionen kleiner Unternehmen, sie alle sollen schnell einen Geschäftsagenten aufbauen können, der mit deinen Kunden interagieren kann, zum Beispiel für Verkauf und Kundenservice.
Meta beginnt also jetzt damit, mehr von dem einzuführen, was wir AI Studio nennen, eine Reihe von Tools, die es letztendlich jedem Ersteller ermöglichen werden, eine Art KI-Version von sich selbst als Agent oder Assistenten zu erstellen, mit dem Gemeinschaftsmitglieder interagieren können.
Wenn du ein Ersteller bist und mehr Interaktion mit deiner Community möchtest, bist du tatsächlich durch Zeit und Energie begrenzt. Eine bessere Option wäre, wenn Menschen diese KIs erstellen könnten, die basierend auf deinem Korpus so trainiert werden können, wie du es möchtest, um dich zu repräsentieren. Dir ist sehr klar, dass du nicht mit dem Ersteller selbst interagierst, aber es ist eine andere interessante Art, wie Stellvertreter dies tun können, ähnlich wie echte Ersteller Inhalte in diesen sozialen Systemen posten.
Ebenso denke ich, dass Menschen diese Agenten für ihre Unternehmen erstellen werden.