La startup française d'IA Mistral a lancé son nouveau modèle phare Large 2 le 24 juillet, peu après la sortie de Llama 3.1 par Meta.
Mistral AI, fondée en juin 2023, est l'une des entreprises d'IA les mieux financées et les plus compétitives d'Europe. Ses membres principaux viennent d'institutions d'IA de premier plan comme Google DeepMind. Le co-fondateur Mensch est l'auteur d'articles sur des modèles comme Chinchilla et a proposé des technologies clés, notamment les lois de mise à l'échelle.
L'entreprise a obtenu 105 millions d'euros de financement seulement 4 semaines après sa création, se concentrant sur le développement de grands modèles open source. En décembre 2023, Mistral a lancé le grand modèle open source Mistral 8x7B, avec 56 milliards de paramètres, comparable en efficacité et performance à LLaMA-65B. La société a également introduit un assistant conversationnel multilingue appelé Le Chat.
Le modèle Large 2 utilise 123 milliards de paramètres, environ un tiers des 405 milliards de Llama 3.1, mais le surpasse en génération de code, mathématiques et capacités de raisonnement. Large 2 génère des réponses plus concises, évitant les descriptions verbeuses, offrant un avantage en termes de coût et une exécution locale plus rapide.
Bien que Large 2 n'ait pas de capacités multimodales, il rivalise avec Llama en précision et fiabilité des réponses conversationnelles. Le processus d'entraînement du modèle s'est concentré sur la résolution des problèmes d'hallucinations et a amélioré le suivi des instructions et les conversations multi-tours.
Large 2 a une longueur de contexte de 128k, supporte plusieurs langues et 80 langages de programmation. Le modèle est disponible sur les plateformes Google, Amazon, Azure et IBM. Les utilisateurs peuvent l'expérimenter sur La Plateforme de Mistral ou le tester gratuitement sur Le Chat.
Mistral a clôturé son tour de financement de série B en juin, levant 640 millions de dollars pour une valorisation de 6 milliards de dollars. L'entreprise compte actuellement environ 60 employés, dont la majorité travaille sur le développement de produits et la recherche.