Das französische KI-Startup Mistral veröffentlichte am 24. Juli sein neues Flaggschiff-Modell Large 2, kurz nach der Veröffentlichung von Llama 3.1 durch Meta.
Mistral AI wurde im Juni 2023 gegründet und ist eines der am besten finanzierten und wettbewerbsfähigsten KI-Unternehmen in Europa. Seine Kernmitglieder kommen von führenden KI-Institutionen wie Google DeepMind. Mitbegründer Mensch ist Autor von Papieren zu großen Modellen wie Chinchilla und entwickelte Kerntechnologien wie Scaling Laws.
Das Unternehmen erhielt nur 4 Wochen nach seiner Gründung eine Finanzierung von 105 Millionen Euro und konzentriert sich auf die Entwicklung von Open-Source-Großmodellen. Im Dezember 2023 veröffentlichte Mistral das Open-Source-Großmodell Mistral 8x7B mit 56 Milliarden Parametern, dessen Effizienz und Leistung mit LLaMA-65B vergleichbar sind. Das Unternehmen führte auch einen mehrsprachigen Konversationsassistenten namens Le Chat ein.
Das Large 2-Modell verwendet 123 Milliarden Parameter, etwa ein Drittel der 405 Milliarden Parameter von Llama 3.1, übertrifft dieses jedoch in Bezug auf Codegenerierung, Mathematik und Reasoning-Fähigkeiten. Large 2 generiert prägnantere Antworten, vermeidet langatmige Beschreibungen und bietet Kostenvorteile sowie schnellere lokale Laufzeiten.
Obwohl Large 2 keine multimodalen Fähigkeiten besitzt, kann es in Bezug auf Genauigkeit und Zuverlässigkeit der Gesprächsantworten mit Llama mithalten. Der Trainingsprozess des Modells konzentrierte sich auf die Lösung von Halluzinationsproblemen und verbesserte die Befolgung von Anweisungen und mehrstufige Dialoge.
Large 2 verfügt über eine Kontextlänge von 128k, unterstützt mehrere Sprachen und 80 Programmiersprachen. Das Modell ist auf den Plattformen von Google, Amazon, Azure und IBM verfügbar. Benutzer können es auf Mistrals La Plateforme erleben oder kostenlos auf Le Chat testen.
Mistral schloss im Juni dieses Jahres eine Serie-B-Finanzierungsrunde ab und sammelte 640 Millionen US-Dollar bei einer Bewertung von 6 Milliarden US-Dollar. Das Unternehmen beschäftigt derzeit etwa 60 Mitarbeiter, von denen die meisten in der Produktentwicklung und Forschung tätig sind.