Mistral AIとNVIDIAが共同で、Mistral NeMoという新しい120億パラメータの小規模言語モデルをリリースしました。このモデルは、いくつかのベンチマークでGemma 2 9BとLlama 3 8Bを上回る性能を示しています。
Mistral NeMoの主な特徴：
- 120億パラメータ
- 128Kのコンテキストウィンドウ
- NVIDIA DGX Cloud AIプラットフォームで訓練
- NVIDIA TensorRT-LLMとNeMoフレームワークで最適化
- Apache 2.0ライセンスでリリース
- 効率的な推論のためにFP8データフォーマットを使用
- エンタープライズユースケース向けに設計
性能：
- マルチターン会話、数学、常識的推論、世界知識、コーディングのベンチマークでGemma 2 9BとLlama 3 8Bを上回る
- MMLUベンチマークではGemma 2 9Bにわずかに劣る
主な機能：
- 11言語のマルチリンガルサポート
- SentencePieceよりも効率的な、Tiktokenベースの新しいTekkenトークナイザー
- 指示への従順性、推論、コード生成の向上のための高度な指示チューニング
デプロイメント：
- 単一のNVIDIA L40S、GeForce RTX 4090またはRTX 4500 GPUで実行可能
- Mistral 7Bを使用する既存のシステムと互換性あり
- 様々なプラットフォームで数分で簡単にデプロイ可能
この協力は、Mistral AIのトレーニングデータに関する専門知識とNVIDIAの最適化されたハードウェア/ソフトウェアエコシステムを活用しています。Mistral NeMoは、商用アプリケーションに容易に統合できる、強力かつ実用的なAIソリューションを企業に提供することを目指しています。