指示追従(インストラクションフォローイング)とは
Instruction Following / インストラクションフォローイング
自然言語で与えられた指示の内容や制約を理解し、それに沿った出力を返すモデルの能力
最終更新:
概要
指示追従(Instruction Following)は、ユーザーやシステムプロンプトで与えられた指示に従って応答する、LLMの能力を指す。「300字以内で」「箇条書きで」「JSON形式で」といった形式の制約や、口調、扱う範囲の指定などを守れるかどうかが問われる。 事前学習だけのモデルは、入力の続きを予測するように学習されているため、指示を与えても続きの文章を書いてしまうことがある。指示と応答の組で学習する指示チューニングや、人間の好みを反映させるRLHFなどの事後学習によって、指示追従能力が高められる。 評価には、検証可能な制約を含む指示への準拠率を自動で測るIFEvalなどのベンチマークが使われる。複数の指示が組み合わさった場合や、長い会話の途中で与えられた指示、システムプロンプトとユーザーの指示が矛盾する場合の扱いは、現在も課題になっている。