デコーディングとは?関連技術・用語一覧
デコーディングは、LLMが内部の確率分布から実際の出力テキストを生成する過程です。貪欲法・ビームサーチ・サンプリングなどの戦略があり、出力品質と速度に影響します。
デコーディングに関連する用語(13件)。定義・仕組みはデコーディングの用語ページで解説。
デコーディング関連のモデル(1件)
デコーディング関連のアーキテクチャ(1件)
デコーディング関連の技術(11件)
Temperature
温度パラメータ
LLMの出力トークン選択のランダム性を調整する、確率分布のサンプリングパラメータ
Top-p
Nucleus Sampling / 核サンプリング
累積確率が閾値 p に達するまでの上位トークン群だけからサンプリングする、核サンプリング手法
Top-k
Top-k Sampling
確率が高い上位 k 個のトークンのみを候補に絞ってサンプリングする手法
Seed
乱数シード
乱数生成の初期値。同じ値を指定することでLLMの出力サンプリング結果を再現できる
デコーディング
Decoding / デコード
モデルが計算した確率分布から、次に出力するトークンを実際に選び取る処理
投機的デコーディング
Speculative Decoding
小規模な下書きモデルに複数トークンを先に生成させ、本体モデルで一括検証し生成を高速化する手法
ビームサーチ
Beam Search
複数の候補系列を並行して保持・評価しながら、より高い確率の系列全体を探索するデコーディング手法
自己回帰生成
Autoregressive Generation / 自己回帰的生成
直前までに生成した出力系列を条件として、次の要素を1つずつ逐次予測しながら生成する方式
制約付き生成
Constrained Generation / Constrained Decoding / 制約付きデコーディング
LLMの生成時に、文法・正規表現・スキーマ等の制約に従うトークンのみを候補とすることで出力形式を保証する技術の総称
ガイド付き生成
Guided Generation
テンプレートやプレースホルダーを用いて、LLMの生成の流れそのものを事前定義した構造に沿って進行させる技術
グリーディデコーディング
Greedy Decoding / 貪欲法デコーディング / Greedy Search
各ステップで確率が最も高いトークンを1つだけ選び続ける、決定的なテキスト生成方式