経験リプレイとは
Experience Replay
過去の行動履歴をバッファに蓄積し再利用することで強化学習の学習効率と安定性を高める手法
概要
経験リプレイは、強化学習エージェントが環境と相互作用して得た(状態・行動・報酬・次状態)の遷移をリプレイバッファに蓄積し、学習時にそこからランダムにサンプリングして再利用する手法。 直近の経験だけを逐次利用する場合と比べ、時間的に相関の強いデータが連続して学習に使われることを防ぎ、学習を安定させる効果がある。 DQN(Deep Q-Network)で導入されて以降、価値ベースの強化学習手法で広く使われる標準的な技術となった。 優先度付きリプレイのように、学習への寄与が大きい経験を優先的にサンプリングする改良版も提案されている。