VLMとは

Vision-Language Model / 視覚言語モデル / VLM(Vision Language Model)

画像と言語を同時に理解し、画像に関する質問応答や説明生成ができるマルチモーダルモデル

ひとことで言うと

画像を見せて「これは何？」と聞くと言葉で答えてくれる、目を持ったLLMのようなモデル。

概要

VLM(Vision-Language Model)は、画像とテキストの両方を入力として受け取り、テキストで応答できるモデルの総称。 画像についての質問応答、画像の説明文生成、図表やグラフの読み取り、文書画像からの情報抽出(OCRを含む)、スクリーンショットの理解など、視覚情報と言語をまたぐタスクを1つのモデルで扱える。 典型的な構成は、画像をベクトル表現に変換するビジョンエンコーダ(ViTなど)、その出力をLLMが扱える表現に変換するプロジェクタ(アダプタ)、そしてテキスト生成を担うLLMの3つの部品からなり、画像を「視覚トークン」としてLLMのコンテキストに入力する。 GPT-4oやGemini、Claudeなどの主要な商用モデルは画像入力に対応しており、LLaVAやQwen-VLのようなオープンウェイトのVLMも活発に開発されている。 スクリーンショットを理解して画面を操作するComputer Useのようなエージェント用途でも、VLMの視覚理解能力が基盤になっている。

背景

画像認識モデルは「犬」「車」のような固定されたラベルの分類はできても、画像の内容について自由な言葉で説明したり質問に答えたりはできなかった。 LLMの言語能力と画像エンコーダの視覚表現を接続することで、視覚情報を自然言語で自在に扱えるモデルとして発展した。

歴史

2021年: OpenAIが画像とテキストを対照学習で同じ埋め込み空間に対応づけるCLIPを発表し、視覚と言語を結ぶ基盤技術になる。 2022年: DeepMindが画像エンコーダとLLMを接続したFlamingoを発表し、少数の例示で画像理解タスクをこなせることを示す。 2023年: GPT-4が画像入力に対応(GPT-4V)。同年、視覚指示チューニングを用いたオープンなVLMであるLLaVAが公開され、オープンウェイトVLM開発が活発化。 2024年以降: GPT-4oやGeminiなど、テキスト・画像・音声を統合的に扱うネイティブマルチモーダルモデルへと発展。

アーキテクチャ

ビジョンエンコーダ(ViTベースが主流。CLIPの画像エンコーダを流用することも多い)が画像をパッチ単位のベクトル列に変換する。 プロジェクタ(線形層や小規模なMLPなど)がこのベクトル列をLLMの埋め込み空間に写像し、視覚トークンとしてテキストトークンと同じ系列に混ぜてLLMに入力する。 学習は、画像とテキストのペアでプロジェクタを揃える段階と、画像つき指示データで全体を指示チューニングする段階に分けて行われることが多い。

利点

• 画像分類・説明生成・図表読解・文書理解などを、タスク別のモデルを作らずに1つのモデルと自然言語の指示で扱える
• LLMの知識と推論能力を視覚タスクに活用でき、画像の内容について文脈を踏まえた説明や推論ができる
• スクリーンショット理解を通じて、GUI操作エージェント(Computer Use)のような応用の基盤になる

欠点

• 細かい文字や小さな物体の読み取り、物体の正確な個数の数え上げなど、細部の認識は苦手なことがある
• 画像に写っていない内容をもっともらしく説明するハルシネーションが起きる
• 画像は多くの視覚トークンを消費するため、テキストのみの場合よりコンテキストと推論コストがかさむ

比較

• マルチモーダル — マルチモーダルは複数の様式を扱うモデル全般を指す広い概念で、VLMはそのうち画像と言語の組み合わせに焦点を当てたもの
• CLIP — CLIPは画像とテキストを同じ埋め込み空間に対応づける埋め込みモデルで、それ自体はテキストを生成しない。VLMはCLIPのような画像エンコーダをLLMに接続してテキスト生成まで行う
• LLM — LLMはテキストのみを入出力とするのに対し、VLMは画像入力を扱えるようLLMを拡張したもの

関連用語

よくある質問

関連Zenn記事

• VLM視覚言語モデルの歴史整理（2025年9月まで）
• AIをポケットに。2026年、VLM（視覚言語モデル）を爆速にする4つの神技術
• うさぎでもわかる日本発の大規模視覚言語モデル「NABLA-VL」
• 確定申告の領収書処理をローカルVLM&ローカルLLMでやっつけてみる