GPT-4o новая версия внезапно вышла в онлайн, с улучшениями во всех аспектах, и сразу заняла первое место в тестировании ZeroEval.
Экономия 50% на вводе и 33% на выводе фактически эквивалентна снижению цены API. Вывод токенов расширен до 16k, ранее поддерживалось 4k.
OpenAI ввела структурированный вывод в API, используя JSON-схему для обеспечения соответствия вывода модели структуре, определенной разработчиком, делая модель более надежной и безопасной. Последняя версия модели "GPT-4o-2024-08-06" получила 100% в оценке JSON-схемы, значительное улучшение по сравнению с 40% версии июня прошлого года.
В редактировании кода последняя версия получила такую же оценку, как и предыдущая, но стоит вдвое меньше. Кроме того, новая версия является самой дешевой моделью OpenAI для ввода изображений.
API поддерживает структурированный вывод в двух основных формах:
- Вызов функций: структурированный вывод вызывается установкой strict:true в определении функции.
- Новый параметр response_format: разработчики могут предоставить JSON-схему через json_schema.
OpenAI обновила Python и Node SDK для поддержки локальной функциональности структурированного вывода. Структурированный вывод также может использоваться для динамического создания пользовательских интерфейсов, разделения окончательных ответов и процессов рассуждения, извлечения структурированных данных из неструктурированных и многих других случаев использования.
Что касается цен, цена ввода составляет 2,5 доллара за миллион токенов, цена вывода - 10 долларов за миллион токенов. Поскольку новая модель более экономична в плане ввода и вывода, это фактически эквивалентно снижению цены. Пользователи обнаружили, что вывод новой модели менее многословен, чем у предыдущей версии, что делает затраты более контролируемыми.