Voici la traduction en français :
Le professeur assistant Chen Yubo du département de génie électrique et informatique de l'Université de Californie à Davis mène des recherches liées aux "modèles de boîte blanche". De plus, il est également post-doctorant auprès de Yann LeCun, lauréat du prix Turing et scientifique en chef de Meta. Dans cet épisode, il nous a parlé des dernières avancées de la recherche sur les modèles de boîte blanche, tout en partageant son expérience avec Yann LeCun, un scientifique qui a connu les hauts et les bas de l'industrie de l'IA mais reste pur et concentré.
Voici une sélection d'extraits de l'interview
01 Le cerveau humain et les grands modèles
Silicon Valley 101 : Pouvez-vous nous présenter brièvement vos recherches sur les "modèles de boîte blanche" ? Avez-vous découvert comment expliquer les problèmes d'entrée-sortie de GPT au cours de vos recherches ?
Chen Yubo : L'objectif principal de cette direction est de faire passer l'apprentissage profond d'une discipline purement empirique à une discipline scientifique, ou de transformer l'ingénierie en science, car actuellement l'ingénierie se développe rapidement mais la science progresse relativement lentement. Il y avait auparavant un modèle appelé embedding de mots, qui pouvait apprendre certaines représentations du langage.
À l'époque, tout le monde se demandait ce qui avait réellement amélioré les performances lorsque nous effectuions des tâches. Nous avons donc réalisé un travail très précoce en essayant d'ouvrir ces représentations de vocabulaire. Lorsque vous les ouvrez, vous découvrez des phénomènes très intéressants.
Par exemple, pour le mot "pomme", vous pouvez trouver certains sens élémentaires à l'intérieur. L'un d'eux peut représenter un fruit, un autre un dessert, et en creusant davantage, vous trouverez des sens liés à la technologie et aux produits, faisant bien sûr référence aux produits de la société Apple. Vous découvrez donc qu'en suivant un mot, vous pouvez trouver ces sens élémentaires, puis vous pouvez étendre cette méthode aux grands modèles de langage.
En d'autres termes, après avoir appris un grand modèle de langage, nous pouvons rechercher certains sens élémentaires qu'il contient, puis essayer de les ouvrir. Vous découvrirez qu'un grand modèle de langage a en fait de nombreuses couches.
Dans les couches de base, un phénomène appelé "désambiguïsation des mots" se produit. Par exemple, en anglais, il y a un mot "left" qui signifie à la fois tourner à gauche et le passé du verbe quitter, et son sens précis dépend du contexte avant et après. Ainsi, le grand modèle de langage accomplit la désambiguïsation des mots dans les premières couches.
Au milieu, vous découvrirez que de nouveaux sens apparaissent. À l'époque, nous avons trouvé une chose intéressante appelée "conversion d'unités", qui s'active lorsqu'il faut convertir des kilomètres en miles ou des degrés Fahrenheit en degrés Celsius. Ce sens s'ouvre et vous pouvez suivre cette voie pour trouver de nombreux sens élémentaires similaires.
En remontant encore plus haut, vous découvrirez même qu'il existe une règle parmi ces sens élémentaires : lorsqu'un sens répété apparaît dans le contexte, il s'active. Vous pouvez utiliser cette méthode pour ouvrir à la fois les grands et les petits modèles de langage. Bien sûr, ces idées ne sont pas entièrement nouvelles, elles ont déjà une certaine histoire dans les modèles visuels, par exemple avec des explorations similaires depuis Matthew Zeiler.
Silicon Valley 101 : Dans cette optique, si nous savons comment il fonctionne en partie, pouvons-nous l'optimiser considérablement d'un point de vue technique ?
Chen Yubo : Oui, c'est une très bonne question. Je pense qu'une exigence élevée pour toute théorie est qu'elle puisse guider la pratique. Donc, lorsque nous travaillions sur les modèles de langage et les représentations de vocabulaire à l'époque, l'un de nos objectifs était de savoir si nous pouvions optimiser ces modèles une fois que nous les aurions compris. Et c'est effectivement possible.
Par exemple, si vous trouvez un sens élémentaire dans un grand modèle de langage qui s'active lorsqu'il voit un certain type de sens élémentaire, ce neurone peut être utilisé comme un discriminateur, et vous pouvez l'utiliser pour effectuer certaines tâches. En modifiant ces sens élémentaires, vous pouvez ajuster les biais du modèle.
C'est-à-dire que si je peux le découvrir, je peux l'ajuster. Récemment, Anthropic a réalisé un travail similaire, en identifiant certains biais potentiels dans les modèles de langage, puis en apportant des modifications pour rendre le modèle plus équitable et sûr.
Silicon Valley 101 : J'ai vu qu'OpenAI avait également mené une étude l'année dernière, utilisant GPT-4 pour expliquer GPT-2, pour voir comment GPT-2 fonctionne réellement. Par exemple, ils ont découvert que lorsque GPT-2 répond à toutes les questions sur l'histoire américaine autour de 1800, le 12e neurone de la 5e ligne est activé, et lorsqu'il répond en chinois, c'est le 13e neurone de la 12e ligne qui est activé.
Si on désactive ce neurone qui répond en chinois, sa capacité à comprendre le chinois diminue considérablement. Mais plus on avance dans les neurones, par exemple lorsqu'on atteint environ 2000 rangs, la fiabilité globale diminue considérablement. Avez-vous remarqué cette étude ?
Chen Yubo : Je n'ai pas encore lu cet article, mais cette méthode ressemble beaucoup à une chirurgie des neurones du cerveau. C'est comme si nous avions maintenant un réseau neuronal où, dans un certain sens, on peut trouver une existence locale plutôt que complètement dispersée, on peut alors effectuer certaines opérations dessus. Par exemple, si on coupe un certain neurone, on peut considérer qu'une certaine capacité est relativement perdue.
C'est en fait la même chose pour les humains. Par exemple, une personne souffrant d'épilepsie peut développer certains troubles du langage après une chirurgie, mais cela n'affecte pas vraiment les autres fonctions corporelles. Le principe semble similaire.
Silicon Valley 101 : OpenAI et Anthropic étudient actuellement l'interprétabilité des grands modèles. En quoi votre recherche diffère-t-elle de la leur ?
Chen Yubo : Personne ne sait vraiment si la recherche sur les modèles de boîte blanche réussira à l'avenir. J'en ai déjà discuté avec mon directeur de thèse, mais l'opinion générale est que cela vaut la peine d'essayer. Si nous revenons à ce domaine, ce que notre recherche essaie de faire, c'est de comprendre l'intelligence artificielle et, à travers notre compréhension, de la reconstruire, afin de construire fondamentalement quelque chose de différent. L'observation, ou l'interprétabilité, n'est à mon avis qu'un moyen.
C'est-à-dire que l'ouverture de ces modèles, la réalisation de ces expériences, l'ajustement des modèles, je pense que ce sont tous des moyens que nous essayons dans le processus de compréhension. Mais ce qui est vraiment important pour les modèles de boîte blanche, c'est de revenir au signal lui-même. Parce que, que ce soit le cerveau humain ou la machine, l'essence de leur apprentissage est due au signal.
Il existe des structures dans notre monde, et ils doivent apprendre à travers ces structures, et c'est précisément ces structures qu'ils apprennent. Pouvons-nous alors trouver les lois derrière ces structures, ainsi que certains outils mathématiques pour les représenter, puis les recombiner pour construire un modèle différent ? Si cela peut être accompli, je pense que cela pourrait apporter une attente en termes d'amélioration de la robustesse, de la sécurité et de la fiabilité de nos systèmes.
De plus, son efficacité serait également améliorée. C'est un peu comme la thermodynamique qui est apparue après la machine à vapeur, soutenant sa transformation d'une discipline purement artisanale en une science. De même, aujourd'hui, c'est comme si nous avions pour la première fois une machine à vapeur sur les données, passant d'une incompréhension de nos données à la possibilité de commencer à créer des algorithmes d'IA pour extraire les régularités des données.
Silicon Valley 101 : Donc, ce serait plus économe en énergie.
Chen Yubo : En parlant d'économie d'énergie, je peux donner quelques exemples intéressants. Le premier point est certainement l'économie d'énergie, car le cerveau équivaut à une ampoule de 20 watts, alors que les superordinateurs actuels peuvent dépasser un million de watts.
Le deuxième point est que si nous regardons l'évolution de diverses créatures dans la nature, son efficacité évolutive est en fait très élevée. Par exemple, il y a une araignée spéciale appelée Jumping Spider qui n'a que quelques millions de neurones, mais elle peut produire des lignes de groupe tridimensionnelles très complexes pour capturer ses proies.
Et je pense que la chose la plus intéressante est l'efficacité de l'utilisation des données par l'homme. La quantité de données de Llama3 a maintenant atteint environ 13 billions de tokens. Mais combien de données un être humain peut-il recevoir dans sa vie ? Supposons que nous puissions obtenir 30 images par seconde, 12 heures par jour, pendant 20 ans, nous obtiendrions environ 10 milliards de tokens, et la quantité de texte que nous pouvons obtenir est à peu près la même, beaucoup moins que les grands modèles.
Alors la question se pose : comment l'homme parvient-il à obtenir une capacité de généralisation aussi forte avec une si petite quantité de données ? C'est ce qui me fascine dans l'efficacité du cerveau humain.
Silicon Valley 101 : Lequel est le plus difficile entre découvrir comment fonctionne un grand modèle et découvrir comment fonctionne le cerveau humain ? Les deux me semblent très difficiles.
Chen Yubo : Les deux ont leurs propres difficultés, mais les méthodes sont similaires. Que ce soit pour le cerveau humain ou les grands modèles de langage, nous essayons de les observer et de voir à quoi ils réagissent.
Cette méthode peut en fait être vue dans les recherches de David Hubel et Torsten Weisel sur le cortex visuel, qui ont reçu le prix Nobel de physiologie dans les années 1980. Ils ont trouvé un type de cellule simple et ont essayé d'étudier quand ces neurones produisent des impulsions lorsque les gens voient certaines choses, analysant les différents états de réponse des neurones lorsqu'ils voient différentes choses, par exemple quand ils ne répondent pas du tout et quand ils sont très excités, puis ils ont trouvé le champ récepteur des neurones.