OpenAI a récemment lancé une nouvelle fonctionnalité importante en réponse à la demande des utilisateurs : la sortie structurée pour leur API. Cette fonctionnalité vise à résoudre les problèmes liés à la génération de contenu JSON par les grands modèles de langage (LLM), tels que les hallucinations ou l'analyse incomplète.
La nouvelle fonctionnalité de sortie structurée garantit que la sortie générée par le modèle correspond à un schéma JSON spécifié. C'est crucial pour maintenir la cohérence entre les applications et a été l'une des fonctionnalités les plus demandées par les développeurs. Le PDG d'OpenAI, Sam Altman, a noté que cette version "répond à un besoin urgent de nombreux utilisateurs".
Points clés concernant la fonctionnalité de sortie structurée :
- Disponible pour GPT-4o-mini, GPT-4o et leurs versions affinées
- Compatible avec l'API Chat Completions, l'API Assistant, l'API Batch et les entrées visuelles
- Permet aux développeurs de contraindre les modèles OpenAI à correspondre aux schémas de données
- Améliore la compréhension par le modèle des schémas de données complexes
- Assure le respect des schémas de données, évitant les clés manquantes ou les valeurs d'énumération invalides
- Prend en charge la génération de réponses étape par étape
- Simplifie les invites et fournit des déclarations de rejet claires
- Suit les politiques de sécurité existantes d'OpenAI
OpenAI affirme que leur dernier modèle GPT-4o a obtenu un score d'évaluation "100% parfait" pour la sortie structurée.
L'entreprise reconnaît s'être inspirée de projets open-source tels que outlines, jsonformer, instructor, guidance et les bibliothèques lark.
Bien que cette fonctionnalité réponde à un besoin important, certains développeurs notent des limitations potentielles :
- Génération lente du premier jeton en raison de la compilation du schéma
- Acceptation limitée des schémas JSON dans l'API
- Implémentation incomplète des changements annoncés dans le SDK Python
Certains développeurs suggèrent que des combinaisons comme Instructor + Pydantic pourraient encore être la méthode la plus simple pour obtenir une sortie structurée avec OpenAI et d'autres solutions LLM.
Dans l'ensemble, l'introduction du support natif de sortie structurée dans l'API d'OpenAI représente un pas en avant significatif, bien qu'il puisse nécessiter un raffinement supplémentaire avant une adoption généralisée dans les environnements de production.