01 Intelligence émergente : Simplement de "l'improvisation" ?
Pour démêler le mystère des capacités émergentes des LLM, les chercheurs ont analysé des modèles non ajustés aux instructions comme GPT et des modèles ajustés aux instructions comme Flan-T5-large sur 22 tâches (17 tâches émergentes connues et 7 tâches de référence) dans différentes conditions.
Ils ont utilisé l'exactitude de correspondance exacte, l'exactitude BERTScore et la distance d'édition de chaînes comme métriques d'évaluation. Pour améliorer la précision expérimentale, ils ont contrôlé les biais en ajustant les invites et les formats de sortie.
Les expériences se sont concentrées sur l'analyse des performances de GPT dans des contextes zéro-shot et few-shot.
Étonnamment, bien que GPT était auparavant considéré comme ayant des capacités émergentes, ces capacités étaient très limitées dans les contextes zéro-shot.
Plus précisément, seules deux tâches ont démontré des capacités émergentes sans s'appuyer sur l'apprentissage en contexte (ICL). Ces tâches dépendaient principalement des compétences en langage formel ou de la récupération d'informations, plutôt que d'un raisonnement complexe. Cela suggère que les capacités émergentes de GPT sont grandement limitées sans apprentissage en contexte.
Les chercheurs se sont ensuite tournés vers les modèles ajustés aux instructions, émettant l'hypothèse que l'ajustement aux instructions n'est pas une simple adaptation à la tâche, mais active le potentiel du modèle par un apprentissage en contexte implicite.
En comparant GPT-J (non ajusté aux instructions) et Flan-T5-large (ajusté aux instructions), ils ont trouvé des performances étonnamment cohérentes sur certaines tâches malgré des différences significatives dans les paramètres, l'architecture et les données de pré-entraînement.
Ce phénomène suggère que les modèles ajustés aux instructions ne démontrent peut-être pas des capacités de raisonnement entièrement nouvelles, mais utilisent habilement les capacités d'apprentissage en contexte existantes par un apprentissage en contexte implicite.
D'autres expériences ont montré que même avec une augmentation de la taille du modèle ou des données d'entraînement, les modèles ajustés aux instructions présentaient toujours des capacités de résolution de tâches similaires aux modèles non ajustés aux instructions dans des contextes zéro-shot. Cela souligne à nouveau le lien étroit entre l'ajustement aux instructions et l'apprentissage en contexte implicite.
02 Menace de l'IA pour la survie humaine : Réelle ou exagérée ?
Bien que les LLM démontrent des performances extraordinaires dans les tâches, les résultats de la recherche suggèrent que ces capacités ne constituent pas une menace substantielle pour la survie humaine.
Premièrement, les capacités émergentes des LLM proviennent principalement de l'apprentissage en contexte et de l'ajustement aux instructions, qui peuvent être prédits et contrôlés dans la conception et l'entraînement du modèle. Ils n'ont pas montré de tendances de développement complètement autonome ou d'intentions/motivations indépendantes.
Par exemple, dans le test Social IQA, les modèles pouvaient répondre correctement à des questions impliquant des émotions et des situations sociales, comme "Carson s'est réveillé excité d'aller à l'école. Pourquoi aurait-il fait cela ?"
Ici, le modèle utilise l'apprentissage en contexte et l'ajustement aux instructions pour dépasser la référence aléatoire et sélectionner des réponses raisonnables. Cela montre que le modèle ne génère pas spontanément de "l'intelligence", mais démontre une reconnaissance avancée des modèles dans des conditions d'entrée et de conception spécifiques.
Deuxièmement, bien que ces capacités deviennent plus prononcées à mesure que l'échelle des LLM augmente, elles n'ont pas échappé au contrôle du concepteur. Grâce au réglage fin du modèle, les LLM peuvent être guidés pour mieux comprendre et exécuter des tâches complexes. Cette capacité améliorée ne signifie pas que les modèles développeront une conscience autonome ou poseront une menace pour les humains.
Dans les expériences, les LLM ont largement surpassé les références aléatoires sur des tâches spécifiques, en particulier celles nécessitant du raisonnement et du jugement. Cependant, cette performance repose toujours sur de grands ensembles de données d'entraînement et des invites d'entrée soigneusement conçues, plutôt que sur un éveil intelligent spontané du modèle.
Cela confirme davantage que les capacités émergentes des LLM se développent dans une plage contrôlable. Bien que cette hypothèse nécessite encore une vérification expérimentale plus approfondie, elle fournit une nouvelle perspective pour comprendre les capacités émergentes dans les grands modèles.
La recherche indique que bien que l'IA puisse développer davantage ses capacités fonctionnelles de langage à l'avenir, ses dangers potentiels restent contrôlables. Les preuves existantes ne soutiennent pas les inquiétudes concernant les risques existentiels de l'IA. Au contraire, le développement de la technologie de l'IA s'oriente progressivement vers des directions plus sûres et plus contrôlables.
03 Limitations et perspectives futures
Tout en fournissant des aperçus importants sur les capacités émergentes des LLM, les chercheurs ont également noté les limitations de l'étude.
Les expériences actuelles se concentrent principalement sur des tâches et des scénarios spécifiques, tandis que les performances des LLM dans des contextes plus complexes et diversifiés nécessitent des recherches supplémentaires.
Les chercheurs affirment que les données d'entraînement et l'échelle du modèle restent des facteurs clés influençant les capacités émergentes. Les recherches futures doivent explorer davantage l'optimisation de ces facteurs pour améliorer la sécurité et la contrôlabilité du modèle.
Ils prévoient d'étudier davantage les performances des LLM dans des environnements linguistiques et de tâches plus larges, en particulier comment améliorer les capacités du modèle tout en assurant la sécurité grâce à des techniques améliorées d'apprentissage en contexte et d'ajustement aux instructions.
De plus, ils exploreront la maximisation des capacités émergentes sans augmenter la taille du modèle en optimisant les méthodes d'entraînement et la sélection des données.