自己回帰生成（自己回帰的生成）とは
Autoregressive Generation / 自己回帰的生成
直前までに生成した出力系列を条件として、次の要素を1つずつ逐次予測しながら生成する方式
概要
自己回帰生成とは、それまでに生成した出力系列を条件として、次のトークンや要素を1つずつ逐次的に予測しながら系列全体を組み立てていく生成方式を指す。 LLMによるテキスト生成やRNN、一部の自己回帰型画像・音声生成モデルなどで使われる基本的なパラダイムであり、各ステップの出力が次のステップの入力の一部として使われる点が特徴。 生成は1要素ずつ順番に進むため並列化しづらく、系列が長くなるほど推論時間は伸びやすい。この制約に対して、拡散モデルのように系列全体を並列的・段階的に生成する非自己回帰的な方式や、KVキャッシュや投機的デコーディングのような高速化技術が併用される。
比較
- 拡散モデル — 自己回帰生成が出力系列を1要素ずつ逐次的に生成するのに対し、拡散モデルはノイズから全体を段階的に洗練していく並列的な生成方式