GPT-4o mini versão lidera a arena de grandes modelos lmsys, empatando em primeiro lugar com a versão completa e superando Claude 3.5. Este resultado deixou o CEO Altman empolgado, que afirmou que o desempenho do GPT-4o mini é comparável à versão completa, mas com um preço de apenas 1/20.
A arena de grandes modelos lmsys utiliza um método de avaliação baseado em perguntas e votos dos usuários, o que se aproxima mais da experiência real do usuário. O GPT-4o mini ficou apenas 7 pontos abaixo da versão completa neste ranking, sendo ambos considerados empatados em primeiro lugar. Logo atrás estão Claude 3.5 e a série Gemini.
A OpenAI também anunciou que irá gradualmente disponibilizar a função de fine-tuning do GPT-4o mini, já aberta para usuários tier 4 e tier 5. De hoje até 23 de setembro, será possível usar gratuitamente 2 milhões de tokens de treinamento por dia.
A versão mini foca na relação custo-benefício, com preços de 15 e 60 centavos de dólar por milhão de tokens de entrada/saída, respectivamente, menos da metade do GPT-3.5 Turbo. Comparado à versão text-davinci-003 do GPT-3 de dois anos atrás, o preço caiu 99%.
Além da OpenAI, empresas como Google, Anthropic, Hugging Face, Mistral e Apple também estão lançando modelos menores. Os modelos pequenos estão ganhando mais atenção por atenderem às necessidades de uso com maior economia e possível vantagem de execução local.