VLMとは
Vision-Language Model / 視覚言語モデル / VLM(Vision Language Model)
画像と言語を同時に理解し、画像に関する質問応答や説明生成ができるマルチモーダルモデル
ひとことで言うと
画像を見せて「これは何？」と聞くと言葉で答えてくれる、目を持ったLLMのようなモデル。
概要
VLM(Vision-Language Model)は、画像とテキストの両方を入力として受け取り、テキストで応答できるモデルの総称。 画像についての質問応答、画像の説明文生成、図表やグラフの読み取り、文書画像からの情報抽出(OCRを含む)、スクリーンショットの理解など、視覚情報と言語をまたぐタスクを1つのモデルで扱える。 典型的な構成は、画像をベクトル表現に変換するビジョンエンコーダ(ViTなど)、その出力をLLMが扱える表現に変換するプロジェクタ(アダプタ)、そしてテキスト生成を担うLLMの3つの部品からなり、画像を「視覚トークン」としてLLMのコンテキストに入力する。 GPT-4oやGemini、Claudeなどの主要な商用モデルは画像入力に対応しており、LLaVAやQwen-VLのようなオープンウェイトのVLMも活発に開発されている。 スクリーンショットを理解して画面を操作するComputer Useのようなエージェント用途でも、VLMの視覚理解能力が基盤になっている。
背景
画像認識モデルは「犬」「車」のような固定されたラベルの分類はできても、画像の内容について自由な言葉で説明したり質問に答えたりはできなかった。 LLMの言語能力と画像エンコーダの視覚表現を接続することで、視覚情報を自然言語で自在に扱えるモデルとして発展した。
歴史
2021年: OpenAIが画像とテキストを対照学習で同じ埋め込み空間に対応づけるCLIPを発表し、視覚と言語を結ぶ基盤技術になる。 2022年: DeepMindが画像エンコーダとLLMを接続したFlamingoを発表し、少数の例示で画像理解タスクをこなせることを示す。 2023年: GPT-4が画像入力に対応(GPT-4V)。同年、視覚指示チューニングを用いたオープンなVLMであるLLaVAが公開され、オープンウェイトVLM開発が活発化。 2024年以降: GPT-4oやGeminiなど、テキスト・画像・音声を統合的に扱うネイティブマルチモーダルモデルへと発展。
アーキテクチャ
ビジョンエンコーダ(ViTベースが主流。CLIPの画像エンコーダを流用することも多い)が画像をパッチ単位のベクトル列に変換する。 プロジェクタ(線形層や小規模なMLPなど)がこのベクトル列をLLMの埋め込み空間に写像し、視覚トークンとしてテキストトークンと同じ系列に混ぜてLLMに入力する。 学習は、画像とテキストのペアでプロジェクタを揃える段階と、画像つき指示データで全体を指示チューニングする段階に分けて行われることが多い。
利点
- 画像分類・説明生成・図表読解・文書理解などを、タスク別のモデルを作らずに1つのモデルと自然言語の指示で扱える
- LLMの知識と推論能力を視覚タスクに活用でき、画像の内容について文脈を踏まえた説明や推論ができる
- スクリーンショット理解を通じて、GUI操作エージェント(Computer Use)のような応用の基盤になる
欠点
比較
関連用語
よくある質問
マルチモーダルLLMとの違いは？
ほぼ同じ意味で使われることが多い。厳密には、VLMは画像と言語の2つの様式に焦点を当てた呼び方で、マルチモーダルLLMは音声や動画まで含めてより広い様式を扱うモデルを指すことが多い。
CLIPはVLM？
広義にはVLMに含めることもあるが、CLIPは画像とテキストの類似度を計算する埋め込みモデルであり、テキストを生成できない。現在VLMと呼ぶ場合は、画像を入力してテキストで応答できる生成型のモデルを指すことが多い。
何に使える？
画像についての質問応答、商品画像の説明文生成、帳票や領収書からの情報抽出、グラフ・図表の読み取り、スクリーンショットを理解して画面操作するエージェントなど。