軌跡学習とは
Trajectory Learning
エージェントが環境内で観測した状態と取った行動の時系列(軌跡)データから、方策や環境のダイナミクスを学習する手法の総称
概要
軌跡学習は、エージェントが環境と相互作用する中で得られる、状態と行動の時系列データ(軌跡・トラジェクトリ)を学習データとして使い、方策や環境のダイナミクスを学習する手法全般を指す言葉。 人間の実演から集めた軌跡を教師データとして方策を模倣させるBehavior Cloningのような模倣学習の手法や、エージェント自身が環境を探索しながら収集した軌跡を報酬信号と組み合わせて方策を改善していく強化学習の手法など、軌跡データの使い方によって複数のアプローチに分かれる。 ロボティクスの分野では、カメラ映像や関節角度といったセンサーデータと、それに対応する制御コマンドの軌跡を大量に収集する。 Diffusion Policyのような表現力の高いモデルでこれらの軌跡を学習させ、多様なタスクに対応できる方策を構築するアプローチが広がっている。
比較
- 模倣学習 — 模倣学習は、専門家の軌跡データから直接方策を学ぶ軌跡学習の代表的な一形態
- 大規模行動クローニング — 大規模行動クローニングは、大量に収集した軌跡データを教師あり学習で模倣させる、軌跡学習の具体的な手法
- 強化学習 — 強化学習は、エージェント自身が収集した軌跡と報酬信号を組み合わせて方策を改善する、軌跡学習の別のアプローチ