Re Reference AI

技術

グリーディデコーディング(貪欲法デコーディング)とは

Greedy Decoding / 貪欲法デコーディング / Greedy Search

各ステップで確率が最も高いトークンを1つだけ選び続ける、決定的なテキスト生成方式

デコーディング推論

最終更新:

概要

グリーディデコーディングは、自己回帰型の言語モデルがテキストを生成する際、各ステップで次トークンの確率分布から最も確率の高いトークンを選ぶ方式。サンプリングを行わないため、同じモデル・同じ入力からは同じ出力が得られる。 計算は各ステップで最大値を取るだけなので軽く、分類的な回答や構造化出力、評価の再現性を確保したい場面で使われる。多くのAPIでは、temperatureを0にするとこれと近い挙動になる。 一方で、各ステップで局所的に最も良い選択をするだけなので、文全体として確率が最も高い系列になるとは限らない。また、同じ語句を繰り返す出力に陥りやすい。系列全体で良い候補を探す場合はビームサーチ、多様な出力が欲しい場合はTop-kやTop-pなどのサンプリングが使われる。

利点

  • 計算が軽く、実装が単純
  • 同じ入力に対して同じ出力が得られ、再現性を確保しやすい

欠点

  • 系列全体で最も確率の高い出力になるとは限らない
  • 同じ語句の繰り返しや単調な文章になりやすい

関連する用語

Top-pTop-kデコーディングビームサーチTemperature自己回帰生成Chain-of-ThoughtSeed推論投機的デコーディング探索木推移律

参考文献