ルーター（ゲーティングネットワーク）とは

Router / ゲーティングネットワーク / Gating Network / ゲーティング / Gating

MoEなどのスパースなニューラルネットワークで、入力ごとにどの専門家・ユニットへ処理を振り分けるかを決定する仕組み

ひとことで言うと

AIモデルの中で、入力ごとに『どの担当(専門家)に処理させるか』を決める仕組み。

概要

ルーター(Router、ゲーティングネットワークとも呼ばれる)とは、Mixture of Expertsなどのスパースなニューラルネットワークにおいて、入力トークンごとにどの専門家サブネットワーク・ユニットへ処理を振り分けるかを決定する仕組み。 入力を受け取り、各専門家に対するスコア(確率)を計算したうえで、スコア上位の専門家を選択して処理を割り当てるTop-k方式が広く使われる。 ルーターの学習が不安定になると、一部の専門家だけに処理が偏る負荷の偏りが生じやすく、これを防ぐための補助的な損失関数(load balancing loss)を導入する工夫がしばしば行われる。 複数のLLM間でリクエストを振り分けるModel Routerとは異なり、こちらは単一モデル内部のトークンレベルでの計算経路の選択を担う。

背景

モデルの表現力を高めるために専門家サブネットワークを増やすほど、全専門家を毎回計算するのは計算コストが増大する。 この課題に対処するため、入力ごとに必要な専門家だけを選択的に使うスパース活性化を実現する仕組みとしてルーターが導入された。

利点

• 専門家ネットワークの一部だけを計算すればよく、モデル全体の計算コストを抑えられる
• 専門家ごとに異なるパターンを専門化して学習させることで、表現力を高められる

欠点

• 特定の専門家に処理が偏る負荷の偏りが起きやすく、学習の安定化に工夫が必要
• ルーターの選択が離散的であるため、学習時の勾配伝播に工夫(補助損失等)が必要になる

比較

• MoE — ルーターは、MoEアーキテクチャにおいて各トークンをどの専門家に送るかを決定する中核的な構成要素
• Model Router — Model Routerが複数のLLM間でリクエストを振り分ける仕組みであるのに対し、こちらのルーターは単一モデル内部のトークンレベルでの計算経路を選択する仕組み
• スパース活性化 — ルーターは、スパース活性化を実現するための具体的な選択メカニズム

関連用語

よくある質問