Re Reference AI

アーキテクチャ

スパース活性化とは

Sparse Activation

入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み

深層学習スパースモデル

ひとことで言うと

AIが計算するとき、モデル全体でなく必要な一部分だけを働かせる仕組み。

概要

スパース活性化(Sparse Activation)とは、ニューラルネットワークにおいて、入力ごとにモデル全体のパラメータやユニットのうち一部だけを選択的に計算に使う仕組みを指す。 通常のニューラルネットワーク(密なモデル)では1回の推論で全てのパラメータが計算に関与するのに対し、スパース活性化を採るモデルでは、ルーター(ゲーティングネットワーク)等の仕組みによって入力トークンごとに必要な一部分のみが活性化・計算される。 Mixture of Expertsは、複数の専門家サブネットワークのうち一部だけを選択的に使うことでスパース活性化を実現する代表的なアーキテクチャで、総パラメータ数を増やして表現力を高めつつ、1トークンあたりの実際の計算量(有効パラメータ数)を抑えられる点が特徴。

比較

  • MoEMoEは、専門家サブネットワークの一部だけを選択的に使うことでスパース活性化を実現する代表的なアーキテクチャ
  • ルータールーター(ゲーティングネットワーク)は、スパース活性化においてどのパラメータ・ユニットを計算に使うかを決定する仕組み

関連用語

MoEルータースパース化条件付き計算