Feed-Forward Networkとは
FFN / フィードフォワードネットワーク / 順伝播型ネットワーク
Transformerの各層でトークン単位に適用される、2層の全結合層と活性化関数からなるサブレイヤー
最終更新:
概要
Feed-Forward Network(FFN)は、入力から出力へ一方向にだけ情報が流れるニューラルネットワークの総称。LLMの文脈では、Transformerの各層でSelf-Attentionの後に置かれるサブレイヤーを指すことが多い。 TransformerのFFNは、トークンの位置ごとに同じ重みを独立に適用する(position-wise)構造で、次元を一度広げる線形変換、活性化関数、元の次元に戻す線形変換の順に処理する。原論文では中間層の次元をモデル次元の4倍とし、活性化関数にReLUを使っていた。その後のモデルでは、GELUやSwiGLUを使う例が多い。 Self-Attentionがトークン間の関係を混ぜ合わせるのに対し、FFNは各トークンの表現を個別に変換する役割を持つ。FFNはモデルのパラメータの多くを占める。そのためMixture of ExpertsではこのFFNを複数のエキスパートに分割し、トークンごとに一部だけを動かして計算量を抑える。
歴史
Transformer内のposition-wiseなFFNは、2017年にVaswaniらが論文「Attention Is All You Need」で提案した構成の一部として登場した。
関連する用語
参考文献
- Research PaperAttention Is All You Need (Vaswani et al., 2017)