ガイド付き生成とは
Guided Generation
テンプレートやプレースホルダーを用いて、LLMの生成の流れそのものを事前定義した構造に沿って進行させる技術
ひとことで言うと
あらかじめ用意した雛形の空欄をAIに埋めさせる形で、答えの作られ方そのものを導く技術。
概要
ガイド付き生成(Guided Generation)とは、固定文字列・プレースホルダー・条件分岐等を含むテンプレートをあらかじめ定義し、LLMがそのテンプレートの空所を埋める形で生成を進める手法。 トークン候補を制約する制約付き生成と異なり、生成プロセス自体をテンプレートの構造に沿って段階的に進行させる点に特徴がある。 MicrosoftのguidanceライブラリやLangChainのプロンプトテンプレート機構等が代表的な実装で、固定部分の再生成を省略できるためレイテンシ削減にもつながる。
背景
自由形式の生成に任せると、出力の一部が期待した構造から逸脱したり、不要な冗長さが生じたりする課題があった。 ガイド付き生成は、あらかじめ定義したテンプレートに沿って生成を導くことで、この課題に対応する目的で発展した。
利点
- テンプレートの固定部分を再生成する必要がなく、生成のレイテンシを削減できる
- 出力の構造をテンプレートとして明示的に管理でき、意図した形式からの逸脱を防ぎやすい
欠点
- テンプレートの設計・保守にコストがかかり、想定外の入力パターンへの対応は難しい場合がある
- 柔軟な自由形式の応答が求められる用途には不向きな場合がある
比較
- 制約付き生成 — 制約付き生成はトークン候補自体を制約する技術、ガイド付き生成はテンプレートで生成の流れを導く手法という点でアプローチが異なる
- プロンプトテンプレート — プロンプトテンプレートは入力側の雛形、ガイド付き生成は出力の生成過程そのものをテンプレートに沿って進行させる