スパースモデル
スパースモデルに関連する用語（5件）
スパースモデルは、推論時にパラメータの一部のみを活性化させるモデル構造です。MoE（Mixture of Experts）が代表例で、総パラメータ数を増やしつつ計算コストを抑えられます。
用語一覧
MoE
Mixture of Experts / 専門家混合
入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ
アーキテクチャ深層学習スパースモデル
スパース化
Sparsification
パラメータや計算グラフの大部分を0または未使用にし、実質的な計算量・メモリ使用量を削減する手法の総称
技術モデル圧縮スパースモデル
スパース活性化
Sparse Activation
入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み
アーキテクチャ深層学習スパースモデル
ルーター
Router / ゲーティングネットワーク / Gating Network / ゲーティング / Gating
MoEなどのスパースなニューラルネットワークで、入力ごとにどの専門家・ユニットへ処理を振り分けるかを決定する仕組み
アーキテクチャ深層学習スパースモデル
条件付き計算
Conditional Computation
入力ごとにネットワークの一部だけを選択的に計算に使うことで、パラメータ数を増やしても計算コストを抑える設計思想
アーキテクチャスパースモデル並列計算