OpenAI lanzó recientemente una nueva característica significativa en respuesta a la demanda de los usuarios: salida estructurada para su API. Esta funcionalidad tiene como objetivo abordar problemas con los modelos de lenguaje grandes (LLMs) que generan contenido JSON, como alucinaciones o análisis incompletos.
La nueva característica de salida estructurada asegura que la salida generada por el modelo coincida con un esquema JSON especificado. Esto es crucial para mantener la consistencia en las aplicaciones y ha sido una de las características más solicitadas por los desarrolladores. El CEO de OpenAI, Sam Altman, señaló que este lanzamiento "satisface una necesidad urgente para muchos usuarios".
Puntos clave sobre la característica de salida estructurada:
- Disponible para GPT-4o-mini, GPT-4o y sus versiones ajustadas
- Compatible con Chat Completions API, Assistant API, Batch API y entradas visuales
- Permite a los desarrolladores restringir los modelos de OpenAI para que coincidan con esquemas de datos
- Mejora la comprensión del modelo de esquemas de datos complejos
- Asegura la adherencia a esquemas de datos, evitando claves faltantes o valores enum inválidos
- Admite la generación de respuestas paso a paso
- Simplifica los prompts y proporciona declaraciones claras de rechazo
- Sigue las políticas de seguridad existentes de OpenAI
OpenAI afirma que su último modelo GPT-4o logró una puntuación de evaluación "100% perfecta" para la salida estructurada.
La empresa reconoce haberse inspirado en proyectos de código abierto como outlines, jsonformer, instructor, guidance y las bibliotecas lark.
Aunque esta característica aborda una necesidad significativa, algunos desarrolladores señalan posibles limitaciones:
- Generación lenta del primer token debido a la compilación del esquema
- Aceptación limitada de esquemas JSON en la API
- Implementación incompleta de los cambios anunciados en el SDK de Python
Algunos desarrolladores sugieren que combinaciones como Instructor + Pydantic pueden seguir siendo el método más simple para lograr una salida estructurada con OpenAI y otras soluciones LLM.
En general, la introducción del soporte nativo de salida estructurada en la API de OpenAI representa un paso significativo hacia adelante, aunque puede requerir más refinamiento antes de su adopción generalizada en entornos de producción.