GPT-4o, la nueva versión, se lanzó repentinamente con mejoras en todas las áreas, saltando directamente al primer lugar en las pruebas de referencia ZeroEval.
Se ahorra un 50% en entrada y un 33% en salida, lo que equivale a una reducción de precios en la API. La salida de tokens se amplía a 16k, anteriormente era de 4k.
OpenAI introdujo salidas estructuradas en la API, asegurando que la salida del modelo cumpla con la estructura definida por los desarrolladores mediante esquemas JSON, haciendo el modelo más confiable y seguro. La versión más reciente del modelo "GPT-4o-2024-08-06" obtuvo una puntuación del 100% en la evaluación del esquema JSON, una mejora significativa respecto al 40% de la versión de junio del año pasado.
En cuanto a la edición de código, la última versión obtuvo la misma puntuación de referencia que la versión anterior, pero a la mitad del costo. Además, la nueva versión es el modelo más económico de OpenAI para la entrada de imágenes.
La API admite salidas estructuradas principalmente de dos formas:
- Llamadas a funciones: configurando strict:true en la definición de la función para invocar la salida estructurada.
- Nueva opción del parámetro response_format: los desarrolladores pueden proporcionar un esquema JSON a través de json_schema.
OpenAI actualizó los SDK de Python y Node para admitir la funcionalidad de salida estructurada local. La salida estructurada también se puede utilizar para generar interfaces de usuario dinámicamente, separar respuestas finales de procesos de razonamiento, extraer datos estructurados de datos no estructurados, entre otros casos de uso.
En cuanto a precios, el costo de entrada es de 2.5 dólares por millón de tokens, y el de salida es de 10 dólares por millón de tokens. Dado que el nuevo modelo es más eficiente en entrada y salida, equivale a una reducción de precios. Algunos usuarios han notado que la salida del nuevo modelo no es tan extensa como la versión anterior, lo que permite un mejor control de costos.