Re Reference AI

インフラ

LeRobotとは

Hugging Faceが開発する、模倣学習・強化学習によるロボット制御を実践的に扱うPyTorchベースのオープンソースライブラリ

フレームワーク強化学習

ひとことで言うと

ロボットにカメラやセンサーの情報から動作を学習させるためのオープンソースツール群。データ収集・学習・実機制御までを一貫して行える。

概要

LeRobotは、Hugging Faceが提供するロボット学習向けのオープンソースライブラリ。PyTorchをベースに、模倣学習(ACT、Diffusion Policy、VQ-BeT等)、強化学習(TDMPC、HIL-SERL等)を実装済みのポリシーとして提供する。Vision-Language-Action(VLA)モデル(Pi0、Pi0Fast、Pi0.5、GR00T N1.7等)にも対応する。学習用スクリプトを1行実行するだけで訓練でき、制御ロジックをハードウェアの詳細から切り離す統一的な`Robot`クラスインターフェースを持つ。SO100、LeKiwi、Koch、HopeJR、OMX、EarthRover、Reachy2、OpenARM、Unitree G1、reBot B601といったロボットや、ゲームパッド・キーボード・スマートフォンをテレオペレーション(遠隔操作)デバイスとしてネイティブサポートする。加えて`lerobot_robot_`等の接頭辞を持つパッケージを自動検出するプラグイン機構を備える。これにより、UFACTORY xArm、Universal Robots UR5e、Franka、AgileX Piper、Trossen WidowX、ROS 2ブリッジなどサードパーティ製ハードウェアにも対応が広がっている。収集したデータはHugging Face Hub上で共有できる`LeRobotDataset`形式に統一されており、データセットや学習済みモデルを共有・再利用しやすい。ライセンスはApache License 2.0。

歴史

2024年3月、Hugging FaceがTeslaの元スタッフサイエンティストRemi Cadeneを採用し、ロボティクスプロジェクトを開始。2024年5月、オープンソースロボット学習ライブラリLeRobotを公開した。

アーキテクチャ

ハードウェアの詳細を制御ロジックから切り離す`Robot`クラスインターフェースを中核に持ち、`robot.get_observation()`で観測を取得し、ポリシーが選択した行動を`robot.send_action()`で送るという共通のやり取りでロボットを制御する。データはHugging Face Hub上で共有できる`LeRobotDataset`形式に統一されており、模倣学習・強化学習・VLAモデルの訓練にそのまま利用できる。

利点

  • ACT・Diffusion Policy・VLAモデル(Pi0系、GR00T等)など複数の最新手法をPyTorchベースの共通インターフェースで扱え、手法の比較・切り替えがしやすい
  • Hugging Face Hubとの統合により、収集したデータセットや学習済みモデルを`LeRobotDataset`形式で共有・再利用しやすい
  • SO100等の低コストな入門用アームからOpenArm・Unitree G1といった高機能なロボットまで幅広いハードウェアをネイティブサポートし、プラグイン機構でさらに拡張できる

欠点

  • 活発に開発が続くライブラリであり、APIやポリシー実装に破壊的変更が入る場合もある
  • ネイティブ対応外のハードウェアはサードパーティ製プラグインに依存するため、対応状況や品質にばらつきがある
  • 実機ロボットでの学習・評価にはロボット本体やセンサー、テレオペレーション機材への追加投資が必要になる

比較

  • ROS2 — ROS2がロボット間・ノード間の通信を担う汎用ミドルウェアであるのに対し、LeRobotはその上でロボット学習(データ収集・模倣学習・強化学習)に特化したPyTorchベースのライブラリという違いがある。ROS 2ブリッジ経由での連携にも対応する
  • OpenArm — OpenArmがLeRobotにネイティブ対応するハードウェアの1つであるのに対し、LeRobotはOpenArm含む複数ロボットに共通のデータ収集・学習環境を提供するソフトウェア側という関係にある
  • Diffusion Policy — Diffusion PolicyはLeRobotに実装済みポリシーの1つとして提供される模倣学習手法であり、LeRobotはそれを含む複数手法を共通インターフェースで扱えるライブラリという関係にある

関連用語

ROS2OpenArmDiffusion Policy

参考文献