フランスのAIスタートアップMistralは7月24日、MetaがLlama 3.1を発表した直後に、新しいフラッグシップモデルLarge 2をリリースしました。
Mistral AIは2023年6月に設立され、ヨーロッパで最も資金力があり、競争力のあるAI企業の1つです。主要メンバーはGoogle DeepMindなどのトップAI機関出身で、共同創業者のMenschはChinchillaなどの大規模モデル論文の著者であり、Scaling Lawsを含む核心技術を提案しました。
会社設立からわずか4週間で1.05億ユーロの資金調達を実現し、オープンソースの大規模モデル開発に注力しています。2023年12月、MistralはMistral 8x7Bオープンソース大規模モデルをリリースし、560億のパラメータを持ち、効率性と性能はLLaMA-65Bに匹敵します。また、Le Chatという多言語対話アシスタントも発表しました。
Large 2モデルは1230億のパラメータを使用しており、Llama 3.1の405Bパラメータの約3分の1ですが、コード生成、数学、推論能力においてLlama 3.1を上回っています。Large 2は応答生成時により簡潔で、冗長な説明を避け、コスト面での利点とローカルでの高速実行を実現しています。
Large 2はマルチモーダル機能を持っていませんが、対話応答の正確さと信頼性においてLlamaと匹敵します。モデルのトレーニングプロセスでは幻覚問題の解決に重点を置き、指示遵守や多段階対話などの面で改善が見られます。
Large 2は128kのコンテキスト長を持ち、複数の言語と80種類のコード言語をサポートしています。このモデルはすでにGoogle、Amazon、Azure、IBMのプラットフォームに導入されており、ユーザーはMistralのLa Plateformeで体験したり、Le Chatで無料でテストしたりすることができます。
Mistralは今年6月にBラウンドの資金調達を完了し、6.4億ドルを調達、企業価値は60億ドルに達しました。現在、約60名の従業員がおり、その大部分が製品開発と研究に従事しています。