NVIDIA und Mistral AI präsentieren leistungsstarke Neuheit: 12-Milliarden-Parameter-Kleinmodell beeindruckt bei Debüt, übertrifft Llama 3 in Leistung und läuft auf einer einzelnen 4090-Grafikkarte

Mistral stellt das neue KI-Modell NeMo 12B vor, das besser abschneidet als vergleichbare Produkte.

Mistral AI und NVIDIA haben gemeinsam Mistral NeMo veröffentlicht, ein neues kleines Sprachmodell mit 12 Milliarden Parametern, das Gemma 2 9B und Llama 3 8B in mehreren Benchmarks übertrifft.

Hauptmerkmale von Mistral NeMo:

  • 12 Milliarden Parameter
  • 128K Kontextfenster
  • Trainiert auf der NVIDIA DGX Cloud AI-Plattform
  • Optimiert mit NVIDIA TensorRT-LLM und NeMo-Framework
  • Veröffentlicht unter Apache 2.0 Lizenz
  • Verwendet FP8-Datenformat für effiziente Inferenz
  • Entwickelt für Unternehmensanwendungen

Leistung:

  • Übertrifft Gemma 2 9B und Llama 3 8B in mehrstufigen Konversationen, Mathematik, gesundem Menschenverstand, Weltwissen und Coding-Benchmarks
  • Leicht hinter Gemma 2 9B beim MMLU-Benchmark

Hauptfähigkeiten:

  • Mehrsprachige Unterstützung für 11 Sprachen
  • Neuer Tekken-Tokenizer basierend auf Tiktoken, effizienter als SentencePiece
  • Fortgeschrittenes Instruktions-Tuning für bessere Anweisungsbefolgung, Argumentation und Code-Generierung

Bereitstellung:

  • Kann auf einer einzelnen NVIDIA L40S, GeForce RTX 4090 oder RTX 4500 GPU laufen
  • Kompatibel mit bestehenden Systemen, die Mistral 7B verwenden
  • Einfach innerhalb von Minuten auf verschiedenen Plattformen einsetzbar

Die Zusammenarbeit nutzt Mistral AI's Expertise in Trainingsdaten und NVIDIA's optimiertes Hardware/Software-Ökosystem. Mistral NeMo zielt darauf ab, Unternehmen eine leistungsstarke, aber praktische KI-Lösung zu bieten, die leicht in kommerzielle Anwendungen integriert werden kann.

Link zu Mistral AI Link zu NVIDIA