GRPOとは
Group Relative Policy Optimization / グループ相対方策最適化
価値関数モデルを使わず、同一プロンプトから生成した複数出力のグループ内比較で優位性を計算する、LLM向けの強化学習アルゴリズム
ひとことで言うと
AIに同じ問題を何通りも解かせ、その中の出来の良し悪しを比べて学習させる方法。従来より少ないメモリと計算で強化学習できる。
概要
GRPO（Group Relative Policy Optimization）とは、LLMの強化学習で使われる方策最適化アルゴリズムの1つで、DeepSeekが提案した。 RLHFで広く使われてきたPPOは、報酬モデルとは別に価値関数（クリティック）モデルを学習し、それをベースラインとして方策を更新する。このため方策モデルと同規模のモデルをもう1つ保持する必要があり、メモリと計算のコストが課題だった。 GRPOはクリティックモデルを廃し、同じプロンプトから複数の出力（グループ）をサンプリングして、グループ内の報酬の平均を基準に各出力の相対的な優位性を計算する。 この仕組みによりコストを抑えて方策を更新でき、数学やコーディングのように正誤を機械的に判定できるタスクの強化学習と相性がよい。 DeepSeek-R1の学習に採用されたことで注目され、推論モデルを強化学習で鍛える際の代表的なアルゴリズムの1つになった。
背景
LLMの強化学習では、方策モデルに加えて報酬モデルや価値関数モデルなど複数の大規模モデルを同時に保持する必要があり、メモリと計算資源の負担が大きかった。 特に数学やコーディングでは報酬を機械的な正誤判定で得られるため、価値関数モデルなしで安定して学習できる軽量なアルゴリズムが求められていた。
歴史
2024年2月にDeepSeekが論文「DeepSeekMath」で提案した。2025年1月に公開されたDeepSeek-R1の学習に採用されたことで、広く知られるようになった。
利点
- 価値関数（クリティック）モデルが不要になり、PPOに比べてメモリ使用量と計算コストを抑えられる
- グループ内の相対比較に基づくため、正誤判定のような単純な報酬でも安定して学習しやすい