Self-correction（自己修正）とは

自己修正 / 自己訂正

LLMが自ら生成した出力の誤りを検出し、訂正する能力・アプローチ全般を指す概念

ひとことで言うと

AIが自分の出した答えの間違いに自分で気づいて直すこと。

概要

Self-correction(自己修正)とは、LLMが自ら生成した出力を検証し、誤りを検出したうえで訂正するアプローチ・能力全般を指す概念。 出力を生成した後にモデル自身(または別のモデル)にその内容を批評させ、指摘を踏まえて再生成させるリフレクションや、複数の候補を生成して整合性の高いものを選ぶSelf-Consistencyなど、様々な具体的な手法がSelf-correctionの実現方法として提案されている。 一方で、外部からのフィードバック(テスト実行結果や検索による事実確認、人間からのフィードバックなど)を伴わない場合、モデルが内部知識だけで自らの誤りに気付き訂正するのは容易でないとする研究結果も報告されている。 特に、外部の根拠なしにモデル自身の判断だけで推論の誤りを訂正しようとすると、かえって正しい答えを誤った答えに書き換えてしまう場合があることも指摘されている。

背景

LLMは一度誤った推論や事実誤認を含む出力を生成しても、それに気付かず、あるいは誤りをそのまま正当化する説明を続けてしまうことがある。 この課題に対し、生成後に出力を見直し訂正する仕組みを設けることで、最終的な出力の品質を高めようとする研究がSelf-correctionとして進められてきた。

歴史

2023年、Madaanらが、モデル自身に出力へのフィードバックを生成させ、それを基に反復的に出力を改善するSelf-Refineを提案。 同2023年、Huangらが「Large Language Models Cannot Self-Correct Reasoning Yet」を発表。 外部からの根拠(正解ラベル等)なしに、モデルが自身の推論の誤りを内在的に修正するのは難しい場合があることを実験的に示し、Self-correctionの限界について議論を喚起した。

利点

• 外部ツールや人手を介さず、生成後に出力の品質を追加で高められる場合がある
• テスト実行結果や検索結果など外部の検証手段と組み合わせることで、より確実な誤り訂正が可能

欠点

• 外部からの根拠を伴わない場合、モデルが自身の誤りに気付けず、訂正が効果的に機能しないことがある
• 訂正の試行を重ねる分だけ出力トークン数と推論コストが増加する

比較

• リフレクション — リフレクションは、Self-correctionを実現する代表的な具体的手法の1つで、出力を振り返り批評したうえで再生成する
• Self-Consistency — Self-Consistencyは、複数の推論過程を生成し多数決で答えを選ぶことで誤りを軽減する手法で、Self-correctionとは異なり生成後の見直し・訂正は行わない

関連用語

よくある質問

参考文献

• Research PaperSelf-Refine: Iterative Refinement with Self-Feedback
• Research PaperLarge Language Models Cannot Self-Correct Reasoning Yet