Am 24. Juli um Mitternacht veröffentlichte Meta das bisher leistungsstärkste Open-Source-Großmodell Llama 3.1. Gleichzeitig gab Zuckerberg dem Gründer von "The Rundown AI", Rowan Cheung, ein Interview, in dem er über Llama 3.1 und seine Ansichten zur KI-Entwicklung sprach.
Zuckerberg glaubt, dass das von Open-Source-Modellen geschaffene Ökosystem langfristig sicherer ist als geschlossene Modelle. Er prognostiziert, dass KI-Agenten letztendlich wie E-Mail und Social-Media-Konten zu einem unverzichtbaren Werkzeug für Unternehmen werden. Er sagte: "Letztendlich könnte es sogar mehr KI-Agenten als Menschen geben, und die Menschen werden auf verschiedene Weise mit ihnen interagieren. Offensichtlich ist dies auch eine enorme Geschäftsmöglichkeit."
Hier sind die Hauptpunkte des Interviews:
Rowan Cheung: Mark, vielen Dank, dass du für dieses Interview zur Verfügung stehst. Meta hat heute ein bahnbrechendes KI-Modell veröffentlicht. Kannst du einen Überblick darüber geben, was veröffentlicht wurde und warum es wichtig ist?
Mark Zuckerberg: Heute haben wir Llama 3.1 veröffentlicht, wir haben drei Modelle herausgebracht. Dies ist das erste Mal, dass wir ein Modell mit 405 Milliarden Parametern veröffentlichen. Es ist das bisher komplexeste Open-Source-Modell. Im Vergleich zu einigen führenden geschlossenen Modellen ist es sehr wettbewerbsfähig und übertrifft sie sogar in einigen Bereichen.
Ich bin sehr gespannt darauf zu sehen, wie die Leute es nutzen werden, insbesondere jetzt, da unsere Community-Richtlinien es den Menschen erlauben, Llama als Lehrermodell für Destillation und Feinabstimmung zu verwenden, im Grunde können sie damit jedes andere Modell erstellen.
Darüber hinaus haben wir das 405-Milliarden-Parameter-Modell in neuere, führende 70-Milliarden- und 8-Milliarden-Parameter-Modelle destilliert. Diese Modelle funktionieren auch sehr gut und bieten ein gutes Preis-Leistungs-Verhältnis. Ich bin gespannt darauf zu sehen, wie die Leute diese Modelle nutzen werden.
Ich denke, dies ist ein wichtiger Moment für Open-Source-KI. Ich habe lange darüber nachgedacht und glaube, dass Open-Source-KI zum Industriestandard werden wird, ich denke, sie wird dem Entwicklungspfad von Linux folgen.
Bevor Linux populär wurde, gab es viele Unternehmen, die ihre eigenen geschlossenen Unix-Versionen haben wollten, damals gab es keine komplexen Open-Source-Projekte. Die Leute dachten, dass das geschlossene Entwicklungsmodell die einzige Möglichkeit sei, komplexe Produkte zu entwickeln.
Anfangs basierte Linux darauf, dass es billiger war und Entwickler es anpassen konnten. Mit der Entwicklung des Ökosystems wurde es mehr überprüft, sicherer und fortschrittlicher. Mehr Partner bauten auf Linux auf und fügten mehr Funktionen hinzu, was es schließlich genauso benutzerfreundlich machte wie andere geschlossene Unix-Systeme.
Jetzt glaube ich, dass Llama 3.1 die Chance hat, der Open-Source-KI-Standard zu werden und Open Source zum Industriestandard für KI zu machen. Auch wenn es in der Leistung noch nicht die geschlossenen Modelle übertrifft, hat es große Vorteile in Bezug auf Kosten und Anpassungsfähigkeit. Ich denke, das sind Vorteile, die Entwickler nutzen werden.
Wir konzentrieren uns darauf, ein Partnerökosystem aufzubauen, und darum herum werden wir viele verschiedene Funktionen entstehen sehen.
Rowan Cheung: Ich habe alle Benchmarks gesehen, die Ergebnisse sind unglaublich. Offensichtlich ist dies das erste 405-Milliarden-Parameter Open-Source-Spitzenmodell. Gibt es spezifische praktische Anwendungsfälle, von denen du besonders hoffst, dass die Leute sie mit diesem Modell aufbauen werden?
Mark Zuckerberg: Am meisten freue ich mich darauf zu sehen, wie die Leute es verwenden, um ihre eigenen Modelle zu destillieren und feinzutunen. Wie du sagst, ist es das erste Open-Source-Spitzenmodell, aber nicht das erste Spitzenmodell überhaupt. Es gab zuvor schon andere Modelle mit diesen Fähigkeiten.
Die Leute werden direkt auf dem 405-Milliarden-Parameter-Modell Inferenzen durchführen wollen, weil wir schätzen, dass es 50% billiger ist als GPT-4o. Das wird für viele Leute einen Unterschied machen.
Ich denke jedoch, dass das wirklich Neue an diesem Modell ist, dass es Open-Source-Gewichte hat und zu jeder gewünschten Größe destilliert werden kann, für die Generierung synthetischer Daten verwendet und als Lehrermodell eingesetzt werden kann.
Für die Zukunft glauben wir nicht, dass es eine einzige Sache sein wird. OpenAI's Vision ist es, eine "große KI" aufzubauen, Anthropic und Google haben ähnliche Visionen.
Aber das war nie unsere Vision. Unsere Vision ist, dass es in Zukunft viele verschiedene Modelle geben sollte. Ich denke, jedes Startup, jedes große Unternehmen, jede Regierung wird ihr eigenes angepasstes Modell haben wollen.
Als geschlossene Systeme viel besser waren als Open Source, war es tatsächlich bequemer, geschlossene Modelle zu verwenden. Obwohl Open-Source-Modelle anpassbar waren, gab es noch eine Leistungslücke.
Jetzt ist die Situation anders. Die Leistungslücke bei Open-Source-Modellen hat sich im Wesentlichen geschlossen. Du wirst sehen, dass mehr Menschen motiviert sind, Modelle anzupassen und zu erstellen, die ihren Bedürfnissen entsprechen, mit ihren eigenen Daten trainiert und in der richtigen Größe für sie.
Sie werden auch die Werkzeuge dafür haben, denn Unternehmen wie Amazon's AWS und Databricks bauen komplette Service-Suiten für die Destillation und Feinabstimmung von Open-Source-Modellen.
Das ist meiner Meinung nach die neue Situation. Wir sind sehr gespannt darauf zu sehen, wie weit dieser Trend gehen wird. Es ist eine neue Fähigkeit in der Welt, die es so noch nie gegeben hat, weil es noch nie ein Open-Source- oder Open-Source-Gewichts-Modell von dieser Komplexität gab.
Rowan Cheung: Das ist wirklich eine große Sache. Wie werdet ihr Entwickler in der Nutzung dieser Tools schulen? Und im weiteren Sinne, hat Meta Pläne oder Strategien, um die Welt über Open-Source-Modelle und ihre Bedeutung aufzuklären?
Mark Zuckerberg: Vor Llama 3.1 war der grundlegende Grund für Metas Investition in diesem Bereich, dass wir sicherstellen wollten, dass wir Zugang zu führenden Modellen haben. Aufgrund unserer Geschichte, insbesondere im mobilen Bereich, wollten wir nicht von der Grundlagentechnologie eines Konkurrenten abhängig sein. Also haben wir Modelle für uns selbst gebaut.
Vor Llama 3.1 dachten wir instinktiv, dass wenn wir es als Open Source veröffentlichen, es eine Community anziehen würde, die darum wachsen, seine Fähigkeiten erweitern und es für alle wertvoller machen würde, einschließlich uns selbst. Denn letztendlich ist es nicht nur eine Technologie, sondern ein Ökosystem. Damit es für uns nützlicher wird, braucht es ein breites Ökosystem.
Eine große Veränderung mit Llama 3.1 ist, dass wir nicht mehr nur für uns selbst bauen und es dann für Entwickler herausgeben, sondern aktiver Partnerschaften aufbauen, um sicherzustellen, dass es ein ganzes Ökosystem von Unternehmen gibt, die interessante Dinge mit diesem Modell machen und Entwicklern auf eine Weise dienen können, wie wir es nicht können.
Wir sind kein Cloud-Service-Anbieter, wir sind nicht AWS, Google oder Azure, also werden Entwickler nicht zu uns kommen, um ihre Sachen zu bauen, aber wir wollen sicherstellen, dass all diese Cloud-Anbieter dieses Modell gut nutzen können.
Das betrifft nicht nur Hosting und Inferenz, sondern auch einige neue Funktionen wie Destillation und Feinabstimmung, die bei geschlossenen Modellen nicht so leicht zu realisieren sind, also mussten wir mit Partnern zusammenarbeiten, um diese Funktionen konkret umzusetzen.
Gleichzeitig wird es Unternehmen wie Groq geben, die sich auf Inferenz mit extrem niedriger Latenz konzentrieren. Ich freue mich, es in die Hände von Groq zu geben, die jetzt neue Dinge damit bauen.
Es gibt auch eine Reihe von Unternehmen wie Dell, Scale AI, Deloitte oder Accenture, die mit globalen Unternehmen bei der Technologieimplementierung zusammenarbeiten. Ich denke, diese Unternehmen werden beim Aufbau angepasster Modelle helfen.
Ob große Unternehmen oder Regierungen, viele Unternehmen möchten ihre eigenen Modelle haben und ihre eigenen Daten trainieren können. Viele Unternehmen wollen ihre Daten nicht über eine API an Google oder OpenAI senden, nicht weil diese Unternehmen Datenschutzprobleme haben.
Es ist eher wie bei der Ende-zu-Ende-Verschlüsselung von WhatsApp, die Leute wollen, dass es strukturell sicher ist und sie ihre Daten bei sich behalten können.
Ich denke, es wird auch in diesem Bereich einen Markt geben. Ich bin sehr begeistert davon.
Dieses Mal haben wir einen aktiveren Ansatz beim Aufbau des Ökosystems verfolgt, weil ich denke, dass dies der Weg ist, wie es wachsen und für jeden mehr Wert schaffen kann.
Rowan Cheung: Ich mag eure enge Verbindung zur Entwickler-Community. Ich bin selbst Teil der Community und weiß, dass die Leute wirklich diese privaten und lokalen Modelle brauchen. Lass uns über deinen offenen Brief sprechen. Neben der Ankündigung von Meta hast du auch einen Brief veröffentlicht, dessen erster Teil sich auf die Vorteile von Open Source für Entwickler konzentriert, was sehr treffend erscheint. Kannst du mehr über die breiteren Auswirkungen von Open-Source-KI auf die Gesellschaft sprechen?
Mark Zuckerberg: Meine Ansicht ist, dass Open Source ein wichtiger Faktor für eine gute KI-Zukunft ist. KI wird viele Produktivitäts- und Kreativitätssteigerungen bringen und hoffentlich auch bei der Forschung helfen und so weiter.
Ich denke, Open Source ist ein wichtiger Teil davon, sicherzustellen, dass KI allen zugute kommt und von allen genutzt werden kann, anstatt nur in den Händen weniger großer Unternehmen zu bleiben.
Gleichzeitig glaube ich, dass Open Source der sicherere und zuverlässigere Weg zur KI-Entwicklung sein wird.
Es gibt jetzt eine Debatte über die Sicherheit von Open Source - "Ist Open Source wirklich sicher?"
Meine Sichtweise ist anders. Ich denke, Open Source ist nicht nur sicher, sondern sogar sicherer als geschlossene Entwicklung.
Wir können die Risiken in "unbeabsichtigt" und "beabsichtigt" unterteilen. "Unbeabsichtigte" Risiken sind, wenn das System auf irgendeine Weise außer Kontrolle gerät, was auch das Szenario in den meisten Science-Fiction-Geschichten über KI ist, die außer Kontrolle gerät.
Ich denke, Open Source ist in dieser Hinsicht sicherer, weil es mehr Überprüfung und Transparenz gibt. Alle Entwickler, die es nutzen, haben auch Sicherheitsrichtlinien und Sicherheitstools, es gibt viel Überprüfungs- und Testdruck, genau wie bei traditioneller Open-Source-Software. Probleme werden schneller entdeckt und behoben als bei geschlossenen Modellen.