逆強化学習とは

Inverse Reinforcement Learning / IRL

専門家の行動データから、その行動の背後にある報酬関数を推定する強化学習の枠組み

ひとことで言うと

お手本となる行動の記録から、「何を目的に行動しているか」を表す報酬の与え方を逆算して求める方法。

概要

逆強化学習(Inverse Reinforcement Learning, IRL)とは、通常の強化学習とは逆に、専門家(人間や熟練したエージェント)の行動デモンストレーションを観測し、その行動を最適な方策として説明できるような報酬関数を推定する枠組みを指す。 通常の強化学習では報酬関数が既知でそこから方策を学習するのに対し、逆強化学習では報酬関数自体が未知であり、専門家の行動という結果から逆算的に報酬関数を求める。 得られた報酬関数を用いて改めて強化学習を行うことで、専門家の行動を模倣、あるいはそれを一般化した方策を得られる。 自動運転やロボット操作のように、望ましい行動の報酬を人手で設計しにくいタスクにおいて、模倣学習の一種として活用される。

歴史

2000年にNgとRussellが論文「Algorithms for Inverse Reinforcement Learning」で、この問題設定とアルゴリズムを定式化した。

利点

• 望ましい行動の報酬関数を人手で設計するのが難しいタスクでも、専門家のデモンストレーションから報酬を推定できる
• 推定した報酬関数は、専門家の行動の背後にある意図の解釈にも役立つ
• 得られた報酬関数を使って通常の強化学習を行い、専門家のデモンストレーションを超える性能を目指せる場合がある

欠点

• 複数の異なる報酬関数が同じ専門家の行動を説明できてしまう不良設定問題(ill-posed problem)がある
• 専門家のデモンストレーションデータの収集にコストがかかる
• 推定した報酬関数を用いた強化学習を別途行う必要があり、計算コストが高くなりやすい

比較

• 強化学習 — 強化学習が既知の報酬関数から方策を学習するのに対し、逆強化学習は専門家の行動から未知の報酬関数を逆算的に推定する

関連用語

よくある質問