Mistralとは
フランスのMistral AIが開発する、効率性を重視したオープンウェイトの大規模言語モデルファミリー
ひとことで言うと
フランスのMistral AIが作っている、効率のよさを重視したAIモデルシリーズ。
概要
Mistralとは、フランスのスタートアップMistral AIが開発する大規模言語モデルのファミリー。 比較的小さなパラメータ数でも高い性能を発揮する効率性を重視した設計と、モデルの重みを公開するオープンウェイトの方針で知られる。 MoE(専門家混合)アーキテクチャを採用したMixtralシリーズにより、オープンウェイトモデルでのMoE活用を早期に実証したことでも知られる。 初期のMistral 7Bモデルは、同程度のパラメータ数を持つ他モデルを上回る性能をベンチマークで示し、軽量ながら実用的な性能を持つオープンウェイトモデルの選択肢を広げた。 APIによるクローズドな提供に加え、Apache 2.0ライセンス等で重みを公開するモデルも並行して展開し、商用利用のしやすさを重視した戦略を取っている。
背景
Mistral AIは、Meta・Google DeepMind出身の研究者らが2023年に設立した企業で、少ないパラメータ数で高い性能を出せるアーキテクチャとオープンな公開方針を軸に、大手テック企業に対抗する形でモデル開発を進めている。
歴史
2023年9月: Mistral AIが70億パラメータのMistral 7Bを公開。 2023年12月: MoEアーキテクチャを採用したMixtral 8x7Bを公開。 2024年2月: 商用向けの高性能モデルMistral Largeを発表。
アーキテクチャ
デコーダのみのTransformerアーキテクチャを基本とし、Mixtralシリーズでは各層のフィードフォワード層を複数の専門家に置き換えるMoEアーキテクチャを採用することで、総パラメータ数を抑えながら性能を高めている。
利点
- 比較的小さなモデルサイズでも高い性能を発揮する効率性に強みを持つ
- 主要モデルの重みを公開しており、自前の環境での実行・改変がしやすい
欠点
比較
関連用語
よくある質問
MistralとMixtralの違いは？
Mistralは同社のモデルファミリー全体を指す名称。 Mixtralは、そのうちMoEアーキテクチャを採用した特定のモデルシリーズを指す。
参考文献
- Research PaperMixtral of Experts
- Official WebsiteMistral AI