Des recherches ont montré que les contraintes de format réduisent la capacité de raisonnement des grands modèles de langage (LLMs), en particulier dans le format JSON. Les principales conclusions sont :
-
Plus les contraintes de format sont strictes, plus la capacité de raisonnement du modèle est faible. Le schéma JSON a donné les pires résultats, suivi des instructions de restriction de format (FRI), puis de la conversion du langage naturel en format, et enfin des invites en langage naturel.
-
Différents modèles ont des préférences différentes pour les formats : GPT préfère YAML, Claude préfère XML, Gemini/Gemma préfère JSON.
-
Raisons pour lesquelles les contraintes de format réduisent la capacité de raisonnement :
- Limitation de la capacité à générer des étapes de raisonnement intermédiaires
- Le format imposé est incompatible avec la méthode naturelle de génération du modèle
- Les erreurs de format peuvent entraîner un rejet de raisonnements corrects
-
Solutions :
- La meilleure approche est la "conversion du langage naturel en format", répondre d'abord en langage naturel, puis convertir au format cible
- Prêter attention à l'ordre des clés dans la sortie structurée
- Réduire les erreurs d'analyse par des invites correctives
-
Un équilibre est nécessaire entre les formats facilement analysables et la préservation de la capacité de raisonnement.
-
Les LLMs en tant qu'analyseurs de réponses comprennent mieux le sens et le contexte des réponses que les expressions régulières.
L'étude suggère qu'il faut trouver un équilibre entre les contraintes de format et la capacité de raisonnement lors de l'application des LLMs pour obtenir les meilleures performances.