グリーディデコーディング(貪欲法デコーディング)とは
Greedy Decoding / 貪欲法デコーディング / Greedy Search
各ステップで確率が最も高いトークンを1つだけ選び続ける、決定的なテキスト生成方式
最終更新:
概要
グリーディデコーディングは、自己回帰型の言語モデルがテキストを生成する際、各ステップで次トークンの確率分布から最も確率の高いトークンを選ぶ方式。サンプリングを行わないため、同じモデル・同じ入力からは同じ出力が得られる。 計算は各ステップで最大値を取るだけなので軽く、分類的な回答や構造化出力、評価の再現性を確保したい場面で使われる。多くのAPIでは、temperatureを0にするとこれと近い挙動になる。 一方で、各ステップで局所的に最も良い選択をするだけなので、文全体として確率が最も高い系列になるとは限らない。また、同じ語句を繰り返す出力に陥りやすい。系列全体で良い候補を探す場合はビームサーチ、多様な出力が欲しい場合はTop-kやTop-pなどのサンプリングが使われる。
利点
- 計算が軽く、実装が単純
- 同じ入力に対して同じ出力が得られ、再現性を確保しやすい
欠点
- 系列全体で最も確率の高い出力になるとは限らない
- 同じ語句の繰り返しや単調な文章になりやすい
関連する用語
参考文献
- DocumentationGeneration strategies (Hugging Face Transformers)