Q学習とは
Q-Learning
状態と行動の組み合わせの価値(Q値)を試行錯誤を通じて学習する、強化学習の代表的な手法
ひとことで言うと
「この状況でこの行動を取ると将来どれだけ得か」を、実際に試しながら学んでいく強化学習の手法。
概要
Q学習は、エージェントがある状態である行動を取ったときに、その後得られる将来の報酬の合計をどれだけ期待できるかを表すQ値(状態行動価値関数)を、環境との試行錯誤を通じて反復的に学習する強化学習の手法。 各時点でエージェントは現在の状態を観測し、行動を選択して実行し、環境から報酬と次の状態を受け取る。 この経験をもとに、実際に得られた報酬と次の状態での最良の行動のQ値を使って、現在のQ値の推定値を少しずつ真の値に近づけるよう更新していく。 環境のモデル(状態遷移確率など)を事前に知らなくても学習できるモデルフリーな手法であり、あらかじめ最適な方策を決め打ちせず実際に行動しながら学習するオフポリシー型の手法としても知られる。
背景
強化学習では、エージェントが環境の完全なモデルを持たない状況でも、試行錯誤を通じて最適な行動を学習できる手法が求められていた。 Q学習は、状態と行動の組み合わせごとの価値を直接推定し、環境のモデルを必要とせずに最適方策へ収束できる手法として考案された。
歴史
1989年: Watkinsが博士論文でQ学習を提案。 1992年: WatkinsとDayanがQ学習の収束性を理論的に証明する論文を発表。 2013-2015年: DeepMindが、Q学習にニューラルネットワークを組み合わせたDQN(Deep Q-Network)でAtariゲームを人間並みにプレイできることを示し、深層強化学習の火付け役に。
ワークフロー
エージェントが現在の状態を観測する。 現在のQ値の推定値をもとに行動を選択(探索と活用のバランスを取りながら)して実行し、環境から報酬と次の状態を受け取る。 受け取った報酬と次の状態で得られる最良のQ値を使い、現在の状態行動ペアのQ値を更新する。 これを繰り返し、Q値が真の値に収束するまで学習を続ける。
利点
- 環境の遷移確率などのモデルを事前に知らなくても、試行錯誤だけで学習できる
- オフポリシー型のため、探索のための行動と学習対象の方策を分けて設計しやすい
- 状態・行動空間が離散的で小規模な問題では、理論的な収束性が保証されている
欠点
- 状態・行動空間が大きくなると、全ての組み合わせのQ値を表で管理する方式では現実的に扱えなくなる
- 連続的な状態・行動空間をそのまま扱うことができず、関数近似(ニューラルネットワーク等)との組み合わせが必要になる
- 報酬がまばらにしか得られない環境では、学習が非常に遅くなることがある
比較
関連用語
よくある質問
Q学習とDQNの違いは？
Q学習は本来、状態と行動の全組み合わせのQ値を表で管理する手法だが、状態空間が大きいと現実的に扱えない。DQNはこのQ値をニューラルネットワークで近似することで、画像のような高次元の状態でも扱えるようにした発展形。
モデルフリーとは？
環境がどのような状態遷移や報酬の仕組みを持つかという事前知識(モデル)を必要とせず、実際の試行錯誤の経験だけから学習できる性質のこと。Q学習はこのモデルフリーな手法の代表例。