マルチモーダルとは?関連技術・用語一覧
マルチモーダルは、テキスト・画像・音声・動画など複数の種類のデータを統合的に処理するAI技術です。画像を理解して文章で答えるなど、モダリティをまたいだ理解・生成を実現します。
マルチモーダルに関連する用語(18件)。定義・仕組みはマルチモーダルの用語ページで解説。
マルチモーダル関連のモデル(10件)
Gemini
Google Gemini / Bard
Googleが開発する、テキスト・画像・音声等を統合的に扱うマルチモーダル大規模言語モデルファミリー
Llama
LLaMA / Llama 4
Metaが開発する、研究・商用利用向けに重みを公開しているオープンウェイトの大規模言語モデルファミリー
Grok
Grok 4.7 / Grok 4
イーロン・マスク率いるxAIが開発する、X(旧Twitter)との統合を特徴とする大規模言語モデルファミリー
Whisper
OpenAIが公開した、多言語対応のオープンソース音声認識(ASR)モデル
CLIP
Contrastive Language-Image Pre-training
画像とテキストを同じ埋め込み空間へ対応づけ、両者の意味的な近さを比較できるようにするOpenAIのマルチモーダルモデル
VLM
Vision-Language Model / 視覚言語モデル / VLM(Vision Language Model)
画像と言語を同時に理解し、画像に関する質問応答や説明生成ができるマルチモーダルモデル
Kimi
Kimi K2 / Kimi K3 / Moonshot AI Kimi / 月之暗面
中国のMoonshot AI(北京月之暗面)が開発するLLMシリーズ。ロングコンテキストから始まるチャットサービスと、オープンウェイトのMoEモデルKimi K2以降で展開されている
VLA
Vision-Language-Action / VLAモデル
視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を出力する基盤モデル
マルチモーダルLLM
Multimodal LLM / MLLM
テキストに加え画像・音声・動画など複数モダリティの入出力を単一モデルで扱える大規模言語モデル
GPT-4V
GPT-4 Vision / GPT-4 with Vision
GPT-4に画像入力・理解機能を追加した、OpenAIのマルチモーダルモデルバリアント
マルチモーダル関連の技術(8件)
マルチモーダル
Multimodal
テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法
世界モデル
World Model / World Models
環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル
動画理解
Video Understanding / 映像理解
動画中の物体・行動・場面展開などを認識し、内容を意味的に理解するタスク
マルチモーダル対話
Multimodal Dialogue
テキストに加えて画像・音声・動画など複数のモダリティを入出力に扱う対話
視覚対話
Visual Dialog / VisDial
画像を提示しながら複数ターンにわたり質問応答を行う対話タスク
マルチモーダル融合
Multimodal Fusion
複数モダリティの特徴表現を組み合わせ、単一の統合表現として扱う技術
バーチャル試着
Virtual Try-on / VTO
AIが衣服やアクセサリーを利用者の画像・映像上に合成し試着体験を提供する技術
音声AI
Voice AI / ボイスAI
人の音声を聞き取って理解し、音声で応答する、音声によるやり取りを担うAIの総称
マルチモーダル関連の比較
マルチモーダル関連の特集記事
マルチモーダル関連の年表
LLMの歴史
Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。
MCP(Model Context Protocol)の歴史
AnthropicがLLMアプリケーションと外部ツール・データを接続する標準として公開したMCPが、主要AIベンダーを巻き込んだ業界標準へと広がっていった過程をたどる。
GPTの歴史
OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。
Claudeの歴史
Anthropicが2023年に公開した対話型AI「Claude」の、Claude 2・Claude 3ファミリー・Computer Use・Claude Codeを経てClaude Sonnet 5に至るまでの変遷。