スパース活性化とは
Sparse Activation
入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み
ひとことで言うと
AIが計算するとき、モデル全体でなく必要な一部分だけを働かせる仕組み。
概要
スパース活性化(Sparse Activation)とは、ニューラルネットワークにおいて、入力ごとにモデル全体のパラメータやユニットのうち一部だけを選択的に計算に使う仕組みを指す。 通常のニューラルネットワーク(密なモデル)では1回の推論で全てのパラメータが計算に関与するのに対し、スパース活性化を採るモデルでは、ルーター(ゲーティングネットワーク)等の仕組みによって入力トークンごとに必要な一部分のみが活性化・計算される。 Mixture of Expertsは、複数の専門家サブネットワークのうち一部だけを選択的に使うことでスパース活性化を実現する代表的なアーキテクチャで、総パラメータ数を増やして表現力を高めつつ、1トークンあたりの実際の計算量(有効パラメータ数)を抑えられる点が特徴。