Mistral AI et NVIDIA ont conjointement lancé Mistral NeMo, un nouveau petit modèle de langage de 12 milliards de paramètres qui surpasse Gemma 2 9B et Llama 3 8B dans plusieurs benchmarks.
Caractéristiques principales de Mistral NeMo :
- 12 milliards de paramètres
- Fenêtre de contexte de 128K
- Entraîné sur la plateforme NVIDIA DGX Cloud AI
- Optimisé avec NVIDIA TensorRT-LLM et le framework NeMo
- Publié sous licence Apache 2.0
- Utilise le format de données FP8 pour une inférence efficace
- Conçu pour des cas d'utilisation en entreprise
Performance :
- Dépasse Gemma 2 9B et Llama 3 8B dans les conversations à plusieurs tours, les mathématiques, le raisonnement de bon sens, les connaissances générales et les benchmarks de codage
- Légèrement en retrait par rapport à Gemma 2 9B sur le benchmark MMLU
Capacités clés :
- Support multilingue pour 11 langues
- Nouveau tokenizer Tekken basé sur Tiktoken, plus efficace que SentencePiece
- Ajustement avancé des instructions pour un meilleur suivi des instructions, raisonnement et génération de code
Déploiement :
- Peut fonctionner sur un seul GPU NVIDIA L40S, GeForce RTX 4090 ou RTX 4500
- Compatible avec les systèmes existants utilisant Mistral 7B
- Facilement déployable en quelques minutes sur diverses plateformes
La collaboration tire parti de l'expertise de Mistral AI en matière de données d'entraînement et de l'écosystème matériel/logiciel optimisé de NVIDIA. Mistral NeMo vise à fournir aux entreprises une solution d'IA puissante mais pratique qui peut être facilement intégrée dans des applications commerciales.