大規模行動クローニングとは
Large-scale Behavior Cloning
大量の人間の実演データを収集し、単純な教師あり学習で状態から行動へのマッピングを模倣させるロボット方策学習の手法
概要
大規模行動クローニングは、テレオペレーションによるロボット操作データなど人間の実演を大量に収集し、観測された状態から対応する行動を予測するよう教師あり学習で方策(ポリシー)を学習させる手法。 Behavior Cloning自体は模倣学習の中で最も単純な手法として古くから知られていた。 収集データ規模を大きく増やし、Diffusion Policyのような表現力の高い方策モデルと組み合わせることで、多様なタスク・環境へ汎化するロボット基盤モデルを構築するアプローチとして2020年代に再注目されている。 単純なBehavior Cloningは実行時に生じる誤差の蓄積(Covariate Shift)に弱いという課題があり、DAggerのように実行中の介入データを取り込む手法や、拡散モデルで行動分布そのものを表現する手法が、その弱点を補う形で発展してきた。
歴史
Behavior Cloning自体は1989年、自動運転を模倣学習で行うALVINNの研究に遡る初期の手法。 2020年代に入り、大量の実演データと大規模ニューラルネットワークを組み合わせる「大規模化」の潮流が、RT-1・RT-2やDiffusion Policyといったロボット基盤モデルの形で本格化した。
比較
- 模倣学習 — 模倣学習は行動クローニングを含む、実演データから方策を学ぶ手法全般の上位概念
- Diffusion Policy — Diffusion Policyは、行動クローニングを拡散モデルで実現する具体的な方策アーキテクチャ
- HG-DAgger — Human-gated DAggerは、単純な行動クローニングの誤差蓄積問題を、実行中の人間介入データで補う発展形