マルチモーダルLLMとは
Multimodal LLM / MLLM
テキストに加え画像・音声・動画など複数モダリティの入出力を単一モデルで扱える大規模言語モデル
概要
マルチモーダルLLMは、従来テキストのみを扱っていたLLMを拡張し、画像・音声・動画といった複数種類のデータ(モダリティ)を入力または出力として扱えるようにしたモデル。 画像を理解して質問へ答えるVision-Language Model(VLM)的な使い方に加え、音声入出力やリアルタイムの映像理解まで対応するモデルも含む、より広い呼び方。 GPT-4o・Gemini・Claudeなどの主要なフロンティアモデルは、テキスト中心の設計から出発しつつ、画像や音声の理解を統合したマルチモーダルLLMとして提供されている。
歴史
2023年9月、OpenAIがGPT-4に画像入力機能を追加したGPT-4Vを公開し、広く使われるLLMへのマルチモーダル対応の代表例となった。 2023年12月、Googleはテキストだけでなく画像・音声を含む形で初期から設計したGeminiを発表し、マルチモーダルLLMという呼び方が広まった。