マルチモーダル融合とは
Multimodal Fusion
複数モダリティの特徴表現を組み合わせ、単一の統合表現として扱う技術
概要
マルチモーダル融合とは、テキスト・画像・音声など複数のモダリティからそれぞれ抽出した特徴表現を組み合わせ、単一の統合表現として扱う技術を指す。 各モダリティの特徴を早い段階で結合するearly fusion、それぞれ独立に処理した後で結果を統合するlate fusion、Attention機構等でモダリティ間の対応関係を学習しながら統合する手法などに大別される。 マルチモーダルなモデルが複数の入力を横断して理解・生成する際の、内部的な統合処理として位置づけられる。
比較
- マルチモーダル — マルチモーダルが複数モダリティを扱うAI全般を指す広い概念であるのに対し、マルチモーダル融合はその内部で特徴表現をどう統合するかという技術的な処理を指す