Re Reference AI

モデル

VLAとは

Vision-Language-Action / VLAモデル

視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を出力する基盤モデル

ロボティクスマルチモーダル

ひとことで言うと

「机の上のコップを取って」と言葉で頼むと、カメラの映像を見ながらロボットの動きを直接生み出すAIモデル。

概要

VLA（Vision-Language-Action）モデルとは、視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を直接出力する基盤モデルを指す。 VLMをベースにロボットの操作データで行動出力を学習させる構成が一般的で、「机の上のコップを取って」のような言語指示を動作の系列へ変換する。 タスクごとの個別プログラミングに頼らず、Web由来の知識をロボット制御へ転用できる点が期待され、フィジカルAIの中核技術として研究開発が活発化している。

歴史

2023年7月にGoogle DeepMindが発表したRT-2の論文が、Vision-Language-Actionモデルという呼称を提唱した。

アーキテクチャ

VLMのアーキテクチャ（画像エンコーダ＋LLM）をベースに、ロボットの行動（関節角度やグリッパーの開閉など）を離散的なトークン列として出力できるよう出力層を拡張する構成が多い。RT-2はこの行動トークンを既存の言語トークンの語彙に埋め込み、画像と言語の指示から行動トークン列を生成するようVLMをファインチューニングした。

ワークフロー

カメラ画像と自然言語による指示をVLMに入力 → モデルが行動を表すトークン列を出力 → トークン列をロボットの関節角度やグリッパー動作などの連続値へデコード → ロボットが動作する → 一定間隔でこのサイクルを繰り返す。

利点

  • Web規模の画像・言語データで事前学習したVLMの知識を、ロボット制御へそのまま転用できる
  • タスクごとに個別の制御プログラムを書かずに、自然言語の指示だけで新しい作業に対応できる可能性がある
  • 未知の物体や状況への汎化性能が、従来の模倣学習ベースの手法より高いことが報告されている

欠点

  • 推論の実行速度（制御周波数）が実機のリアルタイム制御に対して不足する場合があり、軽量化や専用の高速実行手法が必要になる
  • ロボット操作データの収集コストが高く、VLMほど大規模なデータで学習するのは難しい
  • シミュレーションや限定環境で学習した挙動が、実機・実環境でそのまま再現されない場合がある（Sim2Realギャップ）

比較

  • VLM — VLMが画像と言語の理解・生成までを扱うのに対し、VLAはそこへ行動の出力を加え、ロボットの制御までを1つのモデルで担う

関連用語

VLMフィジカルAI世界モデルマルチモーダル基盤モデル

よくある質問

VLAはどんなロボットにも使える？

理論上はカメラと行動出力を持つロボット全般に適用しうるが、実際にはロボットの種類ごとに操作データを収集して学習・調整する必要がある。

代表的なVLAには何がある？

Google DeepMindのRT-2が、Vision-Language-Actionという呼称とともに広く知られる初期の代表例として挙げられる。

参考文献

関連Zenn記事