Dans ce podcast de QuantaMagazine, l'animateur a interviewé Yejin Choi, professeure d'informatique à l'Université de Washington. Ils ont exploré des sujets intéressants, comme la question de savoir si l'IA doit acquérir une incarnation et des émotions pour développer un sens commun semblable à celui des humains.
Actuellement, GPT-4 a déjà démontré une "conscience humaine" impressionnante. Dans ce podcast, Yejin Choi et l'animateur Steven Strogatz ont discuté des capacités et des limites des chatbots et des grands modèles de langage (LLM) qui les construisent. Ils ont examiné si l'IA pourrait vraiment comprendre le monde et les questions auxquelles elle répond.
Dès les années 60, les informaticiens rêvaient d'ordinateurs inspirés du cerveau capables de manifester une intelligence semblable à celle des humains. Avec l'essor d'Internet, l'apparition de vastes ensembles de données textuelles et les progrès significatifs de la puissance de calcul, nous semblons être arrivés à un moment crucial. Les LLM d'aujourd'hui semblent posséder quelque chose proche de l'intelligence humaine.
La théorie proposée par Sanjeev Arora de l'Université de Princeton et Anirudh Goyal, chercheur scientifique chez Google DeepMind, suggère que les plus grands LLM d'aujourd'hui ne sont pas des perroquets aléatoires. À mesure que les modèles deviennent plus grands et sont entraînés sur plus de données, leurs capacités linguistiques s'améliorent et ils combinent les compétences d'une manière qui suggère une compréhension, développant de nouvelles capacités.
Choi explique que ce que font les LLM, c'est lire beaucoup de texte et apprendre à prédire le mot suivant, mais à une très grande échelle. Il ne s'agit pas nécessairement d'une "introspection mot à mot" des données d'entraînement, mais d'une certaine généralisation. Si un texte est répété assez fréquemment dans les données Internet, il le mémorisera effectivement mot pour mot.
Le processus d'entraînement des LLM peut se résumer à la construction d'un très grand réseau neuronal avec des couches et des couches de neurones empilées, puis à l'alimentation séquentielle des données Internet. L'objectif du processus d'apprentissage est de prédire le mot suivant en fonction de la séquence des mots précédents.
Bien que simple, cette méthode d'entraînement peut produire des résultats puissants, permettant aux LLM de répondre à diverses questions dans le texte. Cependant, le processus d'entraînement des LLM est radicalement différent de la façon dont les humains comprennent le monde. Les humains apprennent à travers des cours et la curiosité, et font des hypothèses sur le monde.
Choi considère que les LLM sont une sorte de "soupe de pensées et d'émotions". Ils imitent les émotions et les intentions humaines parce que les gens investissent effectivement des émotions et des intentions dans leur écriture. Mais au final, ils ne possèdent pas vraiment les véritables émotions que les humains ont.