デコーディング

デコーディングに関連する用語（11件）

デコーディングは、LLMが内部の確率分布から実際の出力テキストを生成する過程です。貪欲法・ビームサーチ・サンプリングなどの戦略があり、出力品質と速度に影響します。

用語一覧

温度パラメータ

LLMの出力トークン選択のランダム性を調整する、確率分布のサンプリングパラメータ

Nucleus Sampling / 核サンプリング

累積確率が閾値 p に達するまでの上位トークン群だけからサンプリングする、核サンプリング手法

Top-k Sampling

確率が高い上位 k 個のトークンのみを候補に絞ってサンプリングする手法

乱数シード

乱数生成の初期値。同じ値を指定することでLLMの出力サンプリング結果を再現できる

Decoding / デコード

モデルが計算した確率分布から、次に出力するトークンを実際に選び取る処理

Speculative Decoding

小規模な下書きモデルに複数トークンを先に生成させ、本体モデルで一括検証し生成を高速化する手法

Beam Search

複数の候補系列を並行して保持・評価しながら、より高い確率の系列全体を探索するデコーディング手法

拡散型LLM / Diffusion Language Model

自己回帰的に1トークンずつ生成するのでなく、ノイズ除去過程を繰り返してテキストを並列生成するLLM

Autoregressive Generation / 自己回帰的生成

直前までに生成した出力系列を条件として、次の要素を1つずつ逐次予測しながら生成する方式

Constrained Generation / Constrained Decoding / 制約付きデコーディング

LLMの生成時に、文法・正規表現・スキーマ等の制約に従うトークンのみを候補とすることで出力形式を保証する技術の総称

Guided Generation

テンプレートやプレースホルダーを用いて、LLMの生成の流れそのものを事前定義した構造に沿って進行させる技術