Mistral AI und NVIDIA haben gemeinsam Mistral NeMo veröffentlicht, ein neues kleines Sprachmodell mit 12 Milliarden Parametern, das Gemma 2 9B und Llama 3 8B in mehreren Benchmarks übertrifft.
Hauptmerkmale von Mistral NeMo:
- 12 Milliarden Parameter
- 128K Kontextfenster
- Trainiert auf der NVIDIA DGX Cloud AI-Plattform
- Optimiert mit NVIDIA TensorRT-LLM und NeMo-Framework
- Veröffentlicht unter Apache 2.0 Lizenz
- Verwendet FP8-Datenformat für effiziente Inferenz
- Entwickelt für Unternehmensanwendungen
Leistung:
- Übertrifft Gemma 2 9B und Llama 3 8B in mehrstufigen Konversationen, Mathematik, gesundem Menschenverstand, Weltwissen und Coding-Benchmarks
- Leicht hinter Gemma 2 9B beim MMLU-Benchmark
Hauptfähigkeiten:
- Mehrsprachige Unterstützung für 11 Sprachen
- Neuer Tekken-Tokenizer basierend auf Tiktoken, effizienter als SentencePiece
- Fortgeschrittenes Instruktions-Tuning für bessere Anweisungsbefolgung, Argumentation und Code-Generierung
Bereitstellung:
- Kann auf einer einzelnen NVIDIA L40S, GeForce RTX 4090 oder RTX 4500 GPU laufen
- Kompatibel mit bestehenden Systemen, die Mistral 7B verwenden
- Einfach innerhalb von Minuten auf verschiedenen Plattformen einsetzbar
Die Zusammenarbeit nutzt Mistral AI's Expertise in Trainingsdaten und NVIDIA's optimiertes Hardware/Software-Ökosystem. Mistral NeMo zielt darauf ab, Unternehmen eine leistungsstarke, aber praktische KI-Lösung zu bieten, die leicht in kommerzielle Anwendungen integriert werden kann.