GPT-4o mini version atteint le sommet de l'arène des grands modèles lmsys, à égalité avec la version complète, dépassant Claude 3.5. Ce résultat a suscité l'enthousiasme du PDG Altman, qui a déclaré que les performances de GPT-4o mini étaient comparables à celles de la version complète, mais à un prix 20 fois inférieur.
L'arène des grands modèles lmsys utilise une méthode d'évaluation basée sur des questions et des votes des utilisateurs, ce qui se rapproche davantage de l'expérience réelle des utilisateurs. Le score de GPT-4o mini dans ce classement n'est que de 7 points inférieur à celui de la version complète, les deux étant considérés comme ex æquo à la première place. Claude 3.5 et la série Gemini suivent de près.
OpenAI a également annoncé qu'elle ouvrira progressivement la fonction de fine-tuning de GPT-4o mini, actuellement disponible pour les utilisateurs de niveau 4 et 5. Du jour au lendemain jusqu'au 23 septembre, 2 millions de tokens d'entraînement peuvent être utilisés gratuitement chaque jour.
La version mini met l'accent sur le rapport qualité-prix, avec un coût de 15 cents et 60 cents par million de tokens d'entrée/sortie respectivement, soit moins de la moitié du prix de GPT-3.5 Turbo. Par rapport à la version text-davinci-003 de GPT-3 d'il y a deux ans, le prix a baissé de 99%.
Outre OpenAI, des entreprises comme Google, Anthropic, Hugging Face, Mistral et Apple ont également lancé des modèles de petite taille. Les petits modèles attirent de plus en plus l'attention car ils répondent aux besoins d'utilisation tout en offrant une meilleure rentabilité et des avantages potentiels pour l'exécution côté client.