RLVRとは
Reinforcement Learning with Verifiable Rewards / 検証可能報酬による強化学習
学習済みの報酬モデルの代わりに、数学の正誤判定やテストの合否など機械的に検証できる報酬を使ってLLMを強化学習する手法
ひとことで言うと
AIの答えの良し悪しを人の好みを学習したモデルで判断するのではなく、「答えが合っているか」「テストに通るか」といった機械的な採点で強化学習する方法。
概要
RLVR（Reinforcement Learning with Verifiable Rewards）とは、LLMの強化学習において、人間の選好から学習した報酬モデルの代わりに、機械的に検証可能な報酬を使う手法を指す。 数学問題であれば最終解答と正解の一致、コーディングであれば単体テストの合否、形式が定められたタスクであれば形式遵守の判定など、正誤をプログラムで判定できるシグナルをそのまま報酬として使う。 報酬モデルを使う従来のRLHFでは、方策モデルが報酬モデルの弱点を突いて見かけ上のスコアだけを高める報酬ハッキングが課題だったのに対し、検証可能な報酬はごまかしが効きにくく、正確さが求められるタスクの能力を伸ばしやすい。 DeepSeek-R1をはじめとする推論モデルの学習方式を説明する用語として広まり、GRPOなどのアルゴリズムと組み合わせて使われることが多い。
背景
RLHFで使われる報酬モデルは人間の選好の近似にすぎず、方策モデルがその不完全さを突いて報酬だけを稼ぐ報酬ハッキングが起きやすかった。 一方、数学やコーディングのように正誤を機械的に判定できる領域では、判定結果を直接報酬にすれば、報酬モデルの学習と報酬ハッキング対策のどちらも不要になるという発想が生まれた。
歴史
2024年11月にAllen Institute for AI（Ai2）が公開したTülu 3の技術報告で提唱された用語。その後、DeepSeek-R1などの推論モデルの学習方式を説明する言葉として定着した。
利点
欠点
- 正誤を機械的に判定できるタスクにしか適用できず、文章の質のような主観的な評価軸には使えない
- 判定器の穴を突く出力が学習される可能性は残り、判定器自体の設計品質が重要になる
比較
- RLHF — RLHFが人間の選好から学習した報酬モデルでスコアを与えるのに対し、RLVRは正誤判定やテストの合否といった機械的に検証できるシグナルをそのまま報酬に使う