Mistral AI 和 NVIDIA 共同發布了 Mistral NeMo，這是一個新的 120 億參數小型語言模型，在多項基準測試中表現優於 Gemma 2 9B 和 Llama 3 8B。
Mistral NeMo 的主要特點：
- 120 億參數
- 128K 上下文窗口
- 在 NVIDIA DGX Cloud AI 平台上訓練
- 使用 NVIDIA TensorRT-LLM 和 NeMo 框架進行優化
- 以 Apache 2.0 許可證發布
- 使用 FP8 數據格式進行高效推理
- 為企業用例設計
性能：
- 在多輪對話、數學、常識推理、世界知識和編碼基準測試中超過 Gemma 2 9B 和 Llama 3 8B
- 在 MMLU 基準測試中略低於 Gemma 2 9B
主要功能：
- 支持 11 種語言的多語言能力
- 基於 Tiktoken 的新 Tekken 分詞器，比 SentencePiece 更高效
- 先進的指令調整，以提高指令遵循、推理和代碼生成能力
部署：
- 可在單個 NVIDIA L40S、GeForce RTX 4090 或 RTX 4500 GPU 上運行
- 與使用 Mistral 7B 的現有系統兼容
- 可在各種平台上輕鬆部署，只需幾分鐘
這次合作利用了 Mistral AI 在訓練數據方面的專業知識和 NVIDIA 優化的硬件/軟件生態系統。Mistral NeMo 旨在為企業提供一個強大而實用的 AI 解決方案，可以輕鬆整合到商業應用中。