Re Reference AI
スパースモデルに関連する用語（1件）
スパースモデルは、推論時にパラメータの一部のみを活性化させるモデル構造です。MoE（Mixture of Experts）が代表例で、総パラメータ数を増やしつつ計算コストを抑えられます。
Mixture of Experts / 専門家混合
入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ