マルチモーダルとは
Multimodal
テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法
ひとことで言うと
文章・画像・音声など、いろいろな種類のデータをまとめて扱えるAIの性質。
概要
マルチモーダルとは、テキスト・画像・音声・動画といった複数の種類(モダリティ)のデータを、単一のモデルで組み合わせて理解・生成する性質、またはそうしたAIの手法を指す。 画像とその説明文を対応づけて学習することで、画像を見て説明文を生成したり、逆にテキストの指示から画像を生成したりできるようになる。 GeminiやGPT-4等の主要なLLMでは、テキストに加えて画像・音声等も入力として受け付けるマルチモーダルなモデルが提供されている。
背景
従来のAIモデルの多くは、テキストのみ、画像のみといった単一のモダリティに特化して開発されてきたが、実世界の情報は複数のモダリティが組み合わさって存在することが多い。 マルチモーダルなモデルは、こうした異なる種類のデータを組み合わせて扱い、より人間の認識に近い形で情報を理解・生成する手法として発展してきた。
歴史
2021年: OpenAIが、画像とテキストを同じ埋め込み空間で対応づけて学習するCLIPを発表し、画像・テキスト間の汎用的な対応関係を学習する手法として広く参照されるようになる。 2023年以降: GPT-4やGeminiのように、テキストに加え画像・音声等を単一モデルでネイティブに扱うマルチモーダルLLMが主要サービスとして普及した。
アーキテクチャ
代表的な構成として、モダリティごとに専用のエンコーダ(画像用のCNN・Vision Transformer、音声用の音声エンコーダ等)で特徴を抽出し、それらを共通の埋め込み空間や単一のTransformerへ統合するアプローチが取られる。 CLIPのように画像とテキストを同じ埋め込み空間へ写像し類似度で対応づける手法や、GPT-4・Geminiのように画像・音声のトークンをテキストのトークン列と同様に扱い単一のTransformerで処理する手法などがある。
利点
- テキストだけでは伝えにくい視覚的・聴覚的な情報を含めて入力・出力できる
- 画像に関する質問応答や、音声を含むコンテンツの理解など、単一モダリティでは扱えないタスクに対応できる
- モダリティ間の対応関係を学習することで、片方のモダリティにしかない知識をもう片方の理解に活用できる
欠点
- 異なるモダリティのデータを組み合わせて学習・処理するため、単一モダリティのモデルと比べて学習・推論の計算コストが増加しやすい
- モダリティ間の対応関係を学習するための、質の高い対応データ(画像と説明文のペア等)の収集にコストがかかる
- モダリティ間で情報量や表現の粒度が異なるため、公平に統合できるモデル設計は難しい場合がある
比較
- Gemini — Geminiは、テキスト・画像・音声・動画を統合的に扱えるマルチモーダルなモデルとして設計されている
関連用語
よくある質問
マルチモーダルとVision-Language Modelの違いは？
マルチモーダルは複数モダリティを扱うAI全般を指す広い概念で、Vision-Language Modelはその中でも画像とテキストの2つのモダリティを扱うモデルを指す、より具体的な分類。
マルチモーダルなモデルにはどんな活用例がある？
画像の内容を説明させる、グラフや資料の画像から情報を読み取らせる、音声を含む動画の内容を要約させるなど、テキスト単体では難しいタスクに使われる。