Des recherches menées par des institutions comme Oxford et Cambridge ont révélé que l'entraînement de grands modèles de langage à l'aide de données synthétiques peut entraîner un effondrement du modèle. Cette découverte a fait la couverture de Nature.
Les chercheurs ont testé le modèle OPT-125m de Meta, en l'interrogeant sur l'architecture médiévale. Alors que les premières séries de réponses étaient raisonnables, dès la neuvième itération, le modèle a commencé à produire des résultats incohérents.
L'auteur principal de l'étude a noté qu'ils avaient envisagé que les données synthétiques puissent introduire certaines erreurs, mais ont été surpris par la rapidité de la dégradation du modèle.
Trois types d'erreurs contribuent à l'effondrement du modèle :
- Erreur d'approximation statistique - Due à des tailles d'échantillons limitées
- Erreur d'expressivité de la fonction - Provenant des limitations des capacités d'approximation du modèle
- Erreur d'approximation de la fonction - Causée par des limitations dans le processus d'apprentissage
Pour évaluer l'impact sur les modèles de langage, les chercheurs ont affiné le modèle OPT-125m de Meta sur les données WikiText-2. Ils ont généré des données d'entraînement synthétiques à partir du modèle affiné et les ont utilisées pour entraîner les générations suivantes.
Les résultats ont montré une augmentation des erreurs au fil du temps, les modèles oubliant les événements à faible probabilité et produisant des résultats plus homogènes avant un effondrement complet. Des phénomènes similaires ont été observés dans les modèles VAE et GMM.
Atténuer ce problème est un défi. Certaines entreprises explorent le "filigranage" du contenu généré par l'IA pour l'exclure des données d'entraînement, mais cela nécessite une coordination entre les entreprises.
Cela suggère que les modèles entraînés sur des données internet plus anciennes pourraient mieux représenter le monde réel, donnant potentiellement un avantage à la première vague de grands modèles de langage.