モデルマージとは
Model Merging / モデル融合
複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しいモデルを作る手法
ひとことで言うと
複数のAIモデルの中身（重み）を足し合わせたり混ぜたりして、学習し直さずに「いいとこ取り」のモデルを作る方法。
概要
モデルマージとは、複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しい1つのモデルを作る手法を指す。 重みの平均を取る単純な方法から、ファインチューニングによる差分（タスクベクトル）を組み合わせる方法、干渉を抑えて統合するTIESやDAREのような手法まで、多様な方式が提案されている。 GPUによる学習をほとんど必要とせず、異なる得意分野を持つモデルの能力を組み合わせられるため、オープンウェイトモデルのコミュニティで活発に使われている。 合成結果の性能には理論的な保証が薄く、試行錯誤に依存する面が残る。
歴史
重み平均の有効性を示した2022年のModel Soupsの研究などを契機に注目され、mergekitなどのツールの登場で普及した。