スパースモデルとは？関連技術・用語一覧

スパースモデルは、推論時にパラメータの一部のみを活性化させるモデル構造です。MoE（Mixture of Experts）が代表例で、総パラメータ数を増やしつつ計算コストを抑えられます。

スパースモデルに関連する用語（5件）

スパースモデル関連のアーキテクチャ（4件）

Mixture of Experts / 専門家混合

入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ

Sparse Activation

入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み

Router / ゲーティングネットワーク / Gating Network / ゲーティング / Gating

MoEなどのスパースなニューラルネットワークで、入力ごとにどの専門家・ユニットへ処理を振り分けるかを決定する仕組み

Conditional Computation

入力ごとにネットワークの一部だけを選択的に計算に使うことで、パラメータ数を増やしても計算コストを抑える設計思想

Sparsification

パラメータや計算グラフの大部分を0または未使用にし、実質的な計算量・メモリ使用量を削減する手法の総称

Llama・Mistral・DeepSeek・Qwen・Phi・Gemma等、モデルの重みが公開されている主要なオープンウェイトLLM・生成AIモデルを一覧で紹介。各モデルの特徴・開発元比較・リリース年表まとめ。

自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。