RLAIFとは
Reinforcement Learning from AI Feedback / AIフィードバックによる強化学習
人間の代わりにAIモデルが出力を評価し、そのフィードバックでモデルを強化学習する手法
ひとことで言うと
AIの回答の良し悪しを人間ではなく別のAIに採点させて、その採点結果で学習を進める方法。人手の採点コストを減らせる。
概要
RLAIF（Reinforcement Learning from AI Feedback）とは、人間の代わりにAIモデルが出力の良し悪しを評価し、そのフィードバックを使ってモデルを強化学習する手法を指す。 RLHFは人間による選好ラベルの収集がコストと速度のボトルネックになるため、評価役をAIへ置き換えることで、フィードバック収集を大規模化・高速化する。 AnthropicのConstitutional AIでは、原則（憲法）に基づいてAIが応答を比較評価し、その選好データで学習する方式として使われた。 評価役モデルの偏りがそのまま増幅されるリスクへの注意が必要になる。
背景
RLHFの普及に伴い、人間による選好ラベルの収集がコストと速度の両面でスケーリングのボトルネックになったことから、評価役を人間からAIモデルへ置き換える手法として提案された。
歴史
2022年12月にAnthropicがConstitutional AIの論文内で提唱した。
ワークフロー
評価対象のプロンプトに対しモデルが複数の応答候補を生成する → 別のAIモデル（評価役）が原則やガイドラインに基づき応答を比較し選好を判定する → この選好データで報酬モデルを学習する（またはDPO等で方策を直接最適化する） → 報酬モデルのスコアを使って強化学習で方策モデルを更新する。
利点
- 人間による選好ラベル収集のコストと時間を削減でき、フィードバックデータを大規模かつ高速に生成できる
- 評価基準となる原則やガイドラインを明文化してAIへ適用させるため、評価の一貫性を保ちやすい
欠点
- 評価役のAIモデル自体が持つ偏りや誤りが、そのまま学習対象モデルへ増幅されて伝わるリスクがある
- 人間の直感的な価値判断を要する微妙なニュアンスの評価は苦手で、人間フィードバックに比べ精度が劣る
比較
- RLHF — RLHFが人間の選好ラベルから報酬モデルを学習するのに対し、RLAIFは選好の評価自体をAIモデルに行わせる
関連用語
よくある質問
RLAIFは人間のフィードバックを置き換えられる？
人間による評価コストを削減できる一方、評価役のAIモデル自体の判断の偏りや限界がそのまま反映されるため、多くの実践では人間フィードバックと組み合わせたり、重要な局面では人間による評価を残す形が取られている。
参考文献
- Research PaperConstitutional AI: Harmlessness from AI Feedback (arXiv)