Re Reference AI

技術

マルチモーダルとは

Multimodal

テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法

マルチモーダル

ひとことで言うと

文章・画像・音声など、いろいろな種類のデータをまとめて扱えるAIの性質。

概要

マルチモーダルとは、テキスト・画像・音声・動画といった複数の種類(モダリティ)のデータを、単一のモデルで組み合わせて理解・生成する性質、またはそうしたAIの手法を指す。 画像とその説明文を対応づけて学習することで、画像を見て説明文を生成したり、逆にテキストの指示から画像を生成したりできるようになる。 GeminiGPT-4等の主要なLLMでは、テキストに加えて画像・音声等も入力として受け付けるマルチモーダルなモデルが提供されている。

背景

従来のAIモデルの多くは、テキストのみ、画像のみといった単一のモダリティに特化して開発されてきたが、実世界の情報は複数のモダリティが組み合わさって存在することが多い。 マルチモーダルなモデルは、こうした異なる種類のデータを組み合わせて扱い、より人間の認識に近い形で情報を理解・生成する手法として発展してきた。

利点

  • テキストだけでは伝えにくい視覚的・聴覚的な情報を含めて入力・出力できる
  • 画像に関する質問応答や、音声を含むコンテンツの理解など、単一モダリティでは扱えないタスクに対応できる

欠点

  • 異なるモダリティのデータを組み合わせて学習・処理するため、単一モダリティのモデルと比べて学習・推論の計算コストが増加しやすい
  • モダリティ間の対応関係を学習するための、質の高い対応データ(画像と説明文のペア等)の収集にコストがかかる

比較

  • GeminiGeminiは、テキスト・画像・音声・動画を統合的に扱えるマルチモーダルなモデルとして設計されている

関連用語

GeminiLLMWhisperCLIPGrokVLM

関連Zenn記事