Decoderとは
デコーダ / デコーダオンリー
内部表現から出力系列を生成する側のネットワーク。デコーダのみを積んだ構成が現在のLLMの主流
ひとことで言うと
AIモデルの中で「出力の文章を組み立てる」側の部品。GPTなど今の生成AIの多くはこの部品だけを積み重ねて作られている。
概要
Decoderとは、エンコーダ・デコーダ構成において、内部表現から出力系列を生成する側のネットワークを指す。 Transformerのデコーダは、生成済みのトークンだけを参照するマスク付き自己注意を使い、次のトークンを順に予測する。 GPT系のLLMはエンコーダを持たずデコーダのみを積み重ねたデコーダオンリー構成を採用し、これが現在のLLMの主流アーキテクチャになっている。 翻訳のように入力の理解と出力の生成を分けたい場合はエンコーダ・デコーダ構成、テキスト生成中心の用途ではデコーダオンリー構成と使い分けられてきた。
歴史
系列変換モデルの構成要素としては2014年のSeq2Seqで確立し、現在の形は2017年のTransformerの論文に由来する。
比較
- Encoder — エンコーダが入力系列を内部表現へ変換する側であるのに対し、デコーダはその表現や生成済みトークンから出力系列を生成する側を指す