NVIDIA совместно с Mistral AI представляет мощную новинку: малая модель с 12 миллиардами параметров впечатляюще дебютирует, превосходя по производительности Llama 3 и способная работать на одной видеокарте 4090

Mistral представила новую модель искусственного интеллекта NeMo 12B, которая превосходит аналогичные продукты.

Mistral AI и NVIDIA совместно выпустили Mistral NeMo, новую малую языковую модель с 12 миллиардами параметров, которая превосходит Gemma 2 9B и Llama 3 8B по нескольким показателям.

Ключевые особенности Mistral NeMo:

  • 12 миллиардов параметров
  • Контекстное окно 128K
  • Обучена на платформе NVIDIA DGX Cloud AI
  • Оптимизирована с помощью NVIDIA TensorRT-LLM и фреймворка NeMo
  • Выпущена под лицензией Apache 2.0
  • Использует формат данных FP8 для эффективного вывода
  • Разработана для корпоративных сценариев использования

Производительность:

  • Превосходит Gemma 2 9B и Llama 3 8B в многоходовых разговорах, математике, здравом смысле, знаниях о мире и кодировании
  • Немного отстает от Gemma 2 9B по показателю MMLU

Ключевые возможности:

  • Многоязычная поддержка 11 языков
  • Новый токенизатор Tekken на основе Tiktoken, более эффективный, чем SentencePiece
  • Продвинутая настройка инструкций для лучшего следования инструкциям, рассуждений и генерации кода

Развертывание:

  • Может работать на одном GPU NVIDIA L40S, GeForce RTX 4090 или RTX 4500
  • Совместима с существующими системами, использующими Mistral 7B
  • Легко развертывается за считанные минуты на различных платформах

Сотрудничество использует опыт Mistral AI в обучении данных и оптимизированную экосистему оборудования/программного обеспечения NVIDIA. Mistral NeMo стремится предоставить предприятиям мощное, но практичное AI-решение, которое можно легко интегрировать в коммерческие приложения.

Ссылка на Mistral AI Ссылка на NVIDIA