A Mistral AI e a NVIDIA lançaram conjuntamente o Mistral NeMo, um novo modelo de linguagem pequeno de 12B parâmetros que supera o Gemma 2 9B e o Llama 3 8B em vários benchmarks.
Principais características do Mistral NeMo:
- 12 bilhões de parâmetros
- Janela de contexto de 128K
- Treinado na plataforma NVIDIA DGX Cloud AI
- Otimizado com NVIDIA TensorRT-LLM e framework NeMo
- Lançado sob licença Apache 2.0
- Usa formato de dados FP8 para inferência eficiente
- Projetado para casos de uso empresarial
Desempenho:
- Supera o Gemma 2 9B e o Llama 3 8B em conversas de múltiplos turnos, matemática, raciocínio de senso comum, conhecimento do mundo e benchmarks de codificação
- Ligeiramente atrás do Gemma 2 9B no benchmark MMLU
Principais capacidades:
- Suporte multilíngue para 11 idiomas
- Novo tokenizador Tekken baseado no Tiktoken, mais eficiente que o SentencePiece
- Ajuste avançado de instruções para melhor seguimento de instruções, raciocínio e geração de código
Implantação:
- Pode ser executado em uma única GPU NVIDIA L40S, GeForce RTX 4090 ou RTX 4500
- Compatível com sistemas existentes que usam o Mistral 7B
- Facilmente implantável em minutos em várias plataformas
A colaboração aproveita a experiência da Mistral AI em dados de treinamento e o ecossistema otimizado de hardware/software da NVIDIA. O Mistral NeMo visa fornecer às empresas uma solução de IA poderosa, mas prática, que pode ser prontamente integrada em aplicações comerciais.