GPT-4o мини-версия возглавила арену крупных языковых моделей lmsys, разделив первое место с полной версией и превзойдя Claude 3.5. Этот результат вызвал восторг у генерального директора Альтмана, который заявил, что производительность GPT-4o мини сопоставима с полной версией, но цена составляет всего 1/20.
Арена крупных языковых моделей lmsys использует метод самостоятельного составления вопросов и голосования пользователей для оценки, что ближе к реальному пользовательскому опыту. GPT-4o мини набрала всего на 7 баллов меньше, чем полная версия, и обе считаются разделившими первое место. За ними следуют Claude 3.5 и серия Gemini.
OpenAI также объявила о постепенном открытии функции тонкой настройки GPT-4o мини, которая уже доступна пользователям уровней 4 и 5. С сегодняшнего дня до 23 сентября можно бесплатно использовать 2 миллиона обучающих токенов ежедневно.
Мини-версия ориентирована на соотношение цены и качества: цена за миллион входных/выходных токенов составляет 15 и 60 центов соответственно, что менее половины стоимости GPT-3.5 Turbo. По сравнению с версией text-davinci-003 GPT-3 двухлетней давности, цена снизилась на 99%.
Помимо OpenAI, компании Google, Anthropic, Hugging Face, Mistral и Apple также выпустили небольшие модели. Малые модели привлекают все больше внимания, так как они удовлетворяют потребности пользователей, обладая при этом большей экономичностью и возможными преимуществами работы на стороне клиента.