Le 24 juillet au petit matin, Meta a publié Llama 3.1, actuellement le modèle open source le plus puissant. En même temps, Zuckerberg a accordé une interview à Rowan Cheung, fondateur de "The Rundown AI", pour discuter de Llama 3.1 et de sa vision du développement de l'IA.
Zuckerberg pense qu'à long terme, l'écosystème créé par les modèles open source est plus sûr que les modèles fermés. Il prédit que les agents IA deviendront finalement des outils essentiels pour les entreprises, comme les e-mails et les comptes sociaux. Il déclare : "Finalement, il pourrait même y avoir plus d'agents IA que d'humains, et les gens interagiront avec eux de diverses manières. Évidemment, c'est aussi une énorme opportunité commerciale."
Voici les principaux points de l'interview :
Rowan Cheung : Mark, merci beaucoup d'être ici pour cette interview. Meta a publié aujourd'hui un modèle d'IA majeur, pouvez-vous nous donner un aperçu de ce qui a été publié et de son importance ?
Mark Zuckerberg : Aujourd'hui, nous avons publié Llama 3.1, nous avons sorti trois modèles. C'est la première fois que nous publions un modèle de 405 milliards de paramètres. C'est le modèle open source le plus complexe à ce jour. Il est compétitif par rapport à certains des principaux modèles fermés et les surpasse même dans certains domaines.
J'ai hâte de voir comment les gens vont l'utiliser, d'autant plus que notre politique communautaire permet maintenant aux gens d'utiliser Llama comme modèle d'enseignant pour la distillation et le fine-tuning, ce qui permet essentiellement de créer n'importe quel autre modèle.
En plus de cela, nous avons distillé le modèle de 405 milliards de paramètres en modèles plus récents et plus avancés de 70 milliards et 8 milliards de paramètres. Ces modèles fonctionnent également très bien et offrent un excellent rapport qualité-prix. J'ai hâte de voir comment les gens vont utiliser ces modèles.
Je pense que c'est un moment important pour l'IA open source. J'y réfléchis depuis un certain temps, et je pense que l'IA open source deviendra la norme de l'industrie, je pense qu'elle suivra le chemin de Linux.
Avant que Linux ne devienne populaire, de nombreuses entreprises pensaient avoir leur propre version fermée d'Unix, et il n'y avait pas de projets open source complexes à l'époque. Les gens pensaient que le modèle de développement fermé était le seul moyen de créer des produits complexes.
Au début, Linux s'est imposé sur la base qu'il était moins cher et que les développeurs pouvaient le personnaliser. Au fur et à mesure que l'écosystème se développait, il était soumis à plus d'examen, devenait plus sûr et plus sophistiqué. Plus de partenaires ont construit plus de fonctionnalités sur Linux, le rendant finalement aussi utilisable que les autres Unix fermés.
Maintenant, je pense que Llama 3.1 a l'opportunité de devenir la norme de l'IA open source, faisant de l'open source la norme de l'industrie de l'IA. Même s'il ne surpasse pas encore les modèles fermés en termes de performance, il offre de grands avantages en termes de coût et de personnalisation. Je pense que ce sont des avantages que les développeurs vont exploiter.
Nous nous concentrons sur la construction d'un écosystème de partenaires autour de cela, et nous verrons de nombreuses fonctionnalités différentes se construire autour de cela.
Rowan Cheung : J'ai vu tous les benchmarks, les résultats sont incroyables. Évidemment, c'est le premier modèle open source de pointe avec 405 milliards de paramètres. Y a-t-il des cas d'utilisation pratiques spécifiques que vous êtes particulièrement impatient de voir les gens construire avec ce modèle ?
Mark Zuckerberg : Ce que j'attends le plus avec impatience, c'est de voir les gens l'utiliser pour distiller et affiner leurs propres modèles. Comme vous l'avez dit, c'est le premier modèle open source de pointe, mais ce n'est pas le premier modèle de pointe. Il y a déjà eu d'autres modèles avec cette capacité.
Les gens voudront faire de l'inférence directement sur le modèle de 405 milliards de paramètres, car nous estimons qu'il est 50% moins cher que GPT-4o. Cela aura un impact pour beaucoup de gens.
Cependant, je pense que ce qui est vraiment nouveau avec ce modèle, c'est qu'il est open source avec les poids, ce qui permet de le distiller à la taille que vous voulez, de l'utiliser pour la génération de données synthétiques, de l'utiliser comme modèle d'enseignant.
Pour l'avenir, nous ne pensons pas que ce sera une seule chose. C'est comme, la vision d'OpenAI est de construire une "grande IA", Anthropic et Google ont des visions similaires.
Mais ça n'a jamais été notre vision. Notre vision est qu'il devrait y avoir de nombreux modèles différents à l'avenir. Je pense que chaque startup, grande entreprise, chaque gouvernement voudra avoir son propre modèle personnalisé.
Quand les systèmes fermés étaient bien meilleurs que l'open source, il était certainement plus pratique d'utiliser des modèles fermés. Bien que les modèles open source puissent être personnalisés, il y avait encore un écart de performance.
Maintenant, c'est différent. L'écart de performance avec les modèles open source est essentiellement comblé. Vous verrez plus de gens motivés pour personnaliser et construire des modèles adaptés à leurs besoins, formés avec leurs propres données, à l'échelle qui leur convient.
Ils auront également les outils pour le faire, car des entreprises comme Amazon AWS et Databricks construisent des suites de services complètes pour distiller et affiner les modèles open source.
À mon avis, c'est la nouvelle situation maintenant. Nous sommes impatients de voir jusqu'où cette tendance peut être poussée. C'est une nouvelle capacité dans le monde qui n'existait pas auparavant, car aucun modèle open source ou à poids ouvert n'avait atteint ce niveau de complexité auparavant.
Rowan Cheung : C'est vraiment une grande chose. Comment allez-vous éduquer les développeurs à utiliser ces outils ? Plus largement, Meta a-t-il des plans ou des stratégies pour éduquer le monde sur les modèles open source et leur importance ?
Mark Zuckerberg : Avant Llama 3.1, la raison fondamentale pour laquelle Meta investissait dans ce domaine était de s'assurer que nous aurions accès aux modèles de pointe. En raison de notre histoire, en particulier dans le mobile, nous ne voulions pas dépendre de la technologie de base d'un concurrent. Nous avons donc construit des modèles pour nous-mêmes.
Avant Llama 3.1, nous pensions instinctivement que si nous le rendions open source, cela attirerait une communauté qui grandirait autour de lui, étendrait ses capacités et le rendrait plus précieux pour tout le monde, y compris nous-mêmes. Parce qu'en fin de compte, ce n'est pas seulement une technologie, c'est un écosystème. Pour qu'il nous soit plus utile, il faut un large écosystème.
Un grand changement avec Llama 3.1 est que nous ne construisons plus seulement pour nous-mêmes pour ensuite le jeter aux développeurs, mais nous établissons plus activement des partenariats pour s'assurer qu'il y a tout un écosystème d'entreprises qui peuvent faire des choses intéressantes avec ce modèle et servir les développeurs d'une manière que nous ne pouvons pas.
Nous ne sommes pas un fournisseur de services cloud, nous ne sommes pas AWS, Google ou Azure, donc les développeurs ne viendront pas chez nous pour construire leurs choses, mais nous voulons nous assurer que tous ces fournisseurs de cloud peuvent bien utiliser ce modèle.
Cela implique non seulement l'hébergement et l'inférence, mais aussi de nouvelles fonctionnalités comme la distillation et le fine-tuning, qui ne sont pas aussi faciles à réaliser avec des modèles fermés, donc nous devons travailler spécifiquement avec des partenaires pour permettre ces fonctionnalités.
En même temps, il y aura des entreprises comme Groq qui se concentrent sur l'inférence à très faible latence. Je suis ravi de le mettre entre les mains de Groq, qui construit maintenant de nouvelles choses avec.
Il y a aussi toute une série d'entreprises comme Dell, Scale AI, Deloitte ou Accenture qui travaillent avec des entreprises mondiales sur le déploiement technologique. Je pense que ces entreprises aideront à construire des modèles personnalisés.
Que ce soit de grandes entreprises ou des gouvernements, beaucoup d'entreprises veulent avoir leurs propres modèles et pouvoir former leurs propres données. Beaucoup d'entreprises ne veulent pas envoyer leurs données via une API à Google ou OpenAI, et ce n'est pas parce que ces entreprises ont des problèmes de confidentialité.
C'est plus comme la raison pour laquelle les gens aiment utiliser le chiffrement de bout en bout de WhatsApp, ils veulent que ce soit structurellement sûr et que leurs données restent entre leurs mains.
Je pense qu'il y aura aussi un marché qui se construira autour de cela. Je suis très excité par cela.
Cette fois, nous avons adopté une approche plus proactive dans la construction de l'écosystème, car je pense que c'est la façon dont il va grandir et créer plus de valeur pour tout le monde.
Rowan Cheung : J'aime votre connexion étroite avec la communauté des développeurs. Je fais moi-même partie de la communauté et je sais que les gens ont vraiment besoin de ces modèles privés et locaux. Parlons maintenant de votre lettre ouverte, en plus de l'annonce de Meta, vous avez publié une lettre dont la première partie se concentre sur les avantages de l'open source pour les développeurs, ce qui semble très pertinent. Pouvez-vous nous en dire plus sur l'impact plus large de l'IA open source sur la société ?
Mark Zuckerberg : Mon point de vue est que l'open source est un élément important pour réaliser un bon avenir de l'IA. L'IA apportera beaucoup d'améliorations en termes de productivité et de créativité, et j'espère qu'elle nous aidera aussi à faire de la recherche, etc.
Je pense que l'open source est une partie importante pour s'assurer que l'IA peut bénéficier à tout le monde, permettant à tout le monde de l'utiliser, plutôt que de simplement verrouiller l'IA entre les mains de quelques grandes entreprises.
En même temps, je pense que l'open source sera une façon plus sûre et plus fiable de développer l'IA.
Il y a actuellement un débat sur la sécurité de l'open source - "L'open source est-il vraiment sûr ?"
Mon point de vue est différent. Je pense que l'open source n'est pas seulement sûr, mais qu'il est plus sûr que le développement fermé.
Nous pouvons diviser les risques en "non intentionnels" et "intentionnels". Les risques "non intentionnels" sont ceux où le système échappe au contrôle d'une certaine manière, ce qui est aussi le scénario de l'IA hors de contrôle dans la plupart des films de science-fiction.
Je pense que l'open source est plus sûr à cet égard, car il y a plus d'examen, plus de transparence. Lorsque tous les développeurs l'utilisent, il y a aussi des directives et des outils de sécurité, ainsi que beaucoup de pression pour l'examen et les tests, tout comme avec les logiciels open source traditionnels. Par rapport aux modèles fermés, les problèmes seront découverts et résolus plus rapidement.