Mistral AI и NVIDIA совместно выпустили Mistral NeMo, новую малую языковую модель с 12 миллиардами параметров, которая превосходит Gemma 2 9B и Llama 3 8B по нескольким показателям.
Ключевые особенности Mistral NeMo:
- 12 миллиардов параметров
- Контекстное окно 128K
- Обучена на платформе NVIDIA DGX Cloud AI
- Оптимизирована с помощью NVIDIA TensorRT-LLM и фреймворка NeMo
- Выпущена под лицензией Apache 2.0
- Использует формат данных FP8 для эффективного вывода
- Разработана для корпоративных сценариев использования
Производительность:
- Превосходит Gemma 2 9B и Llama 3 8B в многоходовых разговорах, математике, здравом смысле, знаниях о мире и кодировании
- Немного отстает от Gemma 2 9B по показателю MMLU
Ключевые возможности:
- Многоязычная поддержка 11 языков
- Новый токенизатор Tekken на основе Tiktoken, более эффективный, чем SentencePiece
- Продвинутая настройка инструкций для лучшего следования инструкциям, рассуждений и генерации кода
Развертывание:
- Может работать на одном GPU NVIDIA L40S, GeForce RTX 4090 или RTX 4500
- Совместима с существующими системами, использующими Mistral 7B
- Легко развертывается за считанные минуты на различных платформах
Сотрудничество использует опыт Mistral AI в обучении данных и оптимизированную экосистему оборудования/программного обеспечения NVIDIA. Mistral NeMo стремится предоставить предприятиям мощное, но практичное AI-решение, которое можно легко интегрировать в коммерческие приложения.