Французская компания-стартап в сфере ИИ Mistral 24 июля выпустила свою новую флагманскую модель Large 2, вскоре после выпуска Meta Llama 3.1.
Mistral AI, основанная в июне 2023 года, является одной из наиболее финансируемых и конкурентоспособных ИИ-компаний в Европе. Ее ключевые сотрудники пришли из ведущих ИИ-организаций, таких как Google DeepMind. Соучредитель Mensch является автором статей о крупных моделях, включая Chinchilla, и предложил ключевые технологии, в том числе Scaling Laws.
Компания получила финансирование в размере 105 миллионов евро всего через 4 недели после основания, сосредоточившись на разработке открытых крупных языковых моделей. В декабре 2023 года Mistral выпустила открытую крупную модель Mistral 8x7B с 56 миллиардами параметров, эффективность и производительность которой сопоставимы с LLaMA-65B. Компания также запустила многоязычного разговорного помощника под названием Le Chat.
Модель Large 2 использует 123 миллиарда параметров, что составляет примерно треть от 405 миллиардов параметров Llama 3.1, но превосходит последнюю в генерации кода, математических вычислениях и способности к рассуждению. Large 2 генерирует более лаконичные ответы, избегая длинных описаний, что дает преимущество в стоимости и более быстрой локальной работе.
Хотя Large 2 не обладает мультимодальными возможностями, она сопоставима с Llama по точности и надежности ответов в диалогах. Процесс обучения модели был сосредоточен на решении проблемы галлюцинаций и улучшении следования инструкциям и многораундовых диалогов.
Large 2 имеет контекстную длину 128k и поддерживает множество языков и 80 языков программирования. Модель доступна на платформах Google, Amazon, Azure и IBM. Пользователи могут опробовать ее на La Plateforme от Mistral или бесплатно протестировать в Le Chat.
В июне этого года Mistral завершила раунд финансирования серии B, собрав 640 миллионов долларов при оценке в 6 миллиардов долларов. В настоящее время в компании работает около 60 сотрудников, большинство из которых занимаются разработкой продуктов и исследованиями.