VLAとは
Vision-Language-Action / VLAモデル
視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を出力する基盤モデル
ひとことで言うと
「机の上のコップを取って」と言葉で頼むと、カメラの映像を見ながらロボットの動きを直接生み出すAIモデル。
概要
VLA（Vision-Language-Action）モデルとは、視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を直接出力する基盤モデルを指す。 VLMをベースにロボットの操作データで行動出力を学習させる構成が一般的で、「机の上のコップを取って」のような言語指示を動作の系列へ変換する。 タスクごとの個別プログラミングに頼らず、Web由来の知識をロボット制御へ転用できる点が期待され、フィジカルAIの中核技術として研究開発が活発化している。
歴史
2023年7月にGoogle DeepMindが発表したRT-2の論文が、Vision-Language-Actionモデルという呼称を提唱した。
比較
- VLM — VLMが画像と言語の理解・生成までを扱うのに対し、VLAはそこへ行動の出力を加え、ロボットの制御までを1つのモデルで担う
関連用語
参考文献
- Research PaperRT-2: Vision-Language-Action Models (arXiv)