Mistral AI y NVIDIA han lanzado conjuntamente Mistral NeMo, un nuevo modelo de lenguaje pequeño de 12B parámetros que supera a Gemma 2 9B y Llama 3 8B en varios puntos de referencia.
Características principales de Mistral NeMo:
- 12 mil millones de parámetros
- Ventana de contexto de 128K
- Entrenado en la plataforma de IA NVIDIA DGX Cloud
- Optimizado con NVIDIA TensorRT-LLM y el marco NeMo
- Lanzado bajo licencia Apache 2.0
- Utiliza el formato de datos FP8 para una inferencia eficiente
- Diseñado para casos de uso empresarial
Rendimiento:
- Supera a Gemma 2 9B y Llama 3 8B en conversaciones de múltiples turnos, matemáticas, razonamiento de sentido común, conocimiento del mundo y puntos de referencia de codificación
- Ligeramente por detrás de Gemma 2 9B en el punto de referencia MMLU
Capacidades clave:
- Soporte multilingüe para 11 idiomas
- Nuevo tokenizador Tekken basado en Tiktoken, más eficiente que SentencePiece
- Ajuste avanzado de instrucciones para mejor seguimiento de instrucciones, razonamiento y generación de código
Implementación:
- Puede ejecutarse en una sola GPU NVIDIA L40S, GeForce RTX 4090 o RTX 4500
- Compatible con sistemas existentes que utilizan Mistral 7B
- Fácilmente implementable en minutos en varias plataformas
La colaboración aprovecha la experiencia de Mistral AI en datos de entrenamiento y el ecosistema optimizado de hardware/software de NVIDIA. Mistral NeMo tiene como objetivo proporcionar a las empresas una solución de IA potente pero práctica que pueda integrarse fácilmente en aplicaciones comerciales.