世界モデルとは
World Model / World Models
環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル
ひとことで言うと
「こう動いたら世界はどう変わるか」をAIの頭の中で予測できるようにした模型。実際に試さなくても、頭の中のシミュレーションで行動の結果を確かめられる。
概要
世界モデルとは、環境の状態がどのように変化するか（ダイナミクス）を学習し、行動の結果を内部でシミュレートできるようにしたモデルを指す。 エージェントは実環境で試行錯誤する代わりに、世界モデルの中で「この行動をとったら次に何が起きるか」を予測しながら計画や学習を進められるため、実環境での試行コストや危険を減らせる。 強化学習の分野で研究されてきた概念だが、近年は動画生成モデルを物理世界のシミュレータとみなす見方や、テキスト・映像・行動をまたいで物理世界の常識を学習する基盤モデルの文脈で再び注目されている。 ロボットや自動運転などのフィジカルAIでは、実世界での学習データ収集が高コストなため、世界モデルによるシミュレーション学習が重要な役割を担うと期待されている。
背景
強化学習エージェントを実環境だけで学習させると、試行回数が膨大になるうえ、ロボットや車両では失敗が破損や事故につながる。 環境の挙動を学習したモデルの内部で試行をシミュレートできれば、安全かつ低コストに学習と計画を進められるため、環境そのものをモデル化する研究が続けられてきた。
歴史
概念自体は制御理論や認知科学のメンタルモデルに遡るが、深層学習の分野ではDavid HaとJürgen Schmidhuberが2018年に発表した論文「World Models」が代表的な研究として知られる。近年は動画生成やロボティクスの基盤モデルの文脈で改めて注目されている。
利点
- 実環境での試行錯誤を減らせるため、失敗が事故や破損につながるロボットや自動運転の学習を安全かつ低コストに進められる
- 行動の結果を事前にシミュレートできるため、実行前に複数の選択肢を内部で比較・計画する用途に使える
- 実環境では収集しにくい多様な状況をシミュレーション内で生成し、学習データを補える
欠点
- 世界モデルが学習した環境の近似と実際の環境との間にずれがあると、シミュレーション上でうまくいった行動が実環境では失敗することがある
- 複雑な環境ほど正確なダイナミクスの学習が難しく、モデル化の誤差が蓄積しやすい
- 映像や状態遷移を高精度に予測するには大規模な計算資源とデータが必要になる
比較
- LLM — LLMがテキストの次トークン予測を通じて言語的な知識を学習するのに対し、世界モデルは環境の状態遷移の予測を通じて物理世界のダイナミクスを学習する
関連用語
よくある質問
動画生成モデルは世界モデルなのか？
動画生成モデルがカメラの動きや物体の相互作用など物理世界のダイナミクスをある程度学習していることから、世界モデルの一種とみなす見方がある。ただしどこまで正確に物理法則を捉えているかは限定的で、実世界のシミュレータとして直接使えるかは研究段階にある。
参考文献
- Research PaperWorld Models (arXiv)