Re Reference AI

マルチモーダルとは?関連技術・用語一覧

マルチモーダルは、テキスト・画像・音声・動画など複数の種類のデータを統合的に処理するAI技術です。画像を理解して文章で答えるなど、モダリティをまたいだ理解・生成を実現します。

マルチモーダルに関連する用語(18件)。定義・仕組みはマルチモーダルの用語ページで解説。

マルチモーダル関連のモデル(10件)

Gemini

Google Gemini / Bard

Googleが開発する、テキスト・画像・音声等を統合的に扱うマルチモーダル大規模言語モデルファミリー

モデルLLMGoogleマルチモーダル

Llama

LLaMA / Llama 4

Metaが開発する、研究・商用利用向けに重みを公開しているオープンウェイトの大規模言語モデルファミリー

モデルLLMMetaオープンウェイトマルチモーダル

Grok

Grok 4.7 / Grok 4

イーロン・マスク率いるxAIが開発する、X(旧Twitter)との統合を特徴とする大規模言語モデルファミリー

モデルLLMマルチモーダルクローズドウェイト

Whisper

OpenAIが公開した、多言語対応のオープンソース音声認識(ASR)モデル

モデル音声認識マルチモーダル

CLIP

Contrastive Language-Image Pre-training

画像とテキストを同じ埋め込み空間へ対応づけ、両者の意味的な近さを比較できるようにするOpenAIのマルチモーダルモデル

モデルマルチモーダル埋め込み

VLM

Vision-Language Model / 視覚言語モデル / VLM(Vision Language Model)

画像と言語を同時に理解し、画像に関する質問応答や説明生成ができるマルチモーダルモデル

モデルマルチモーダルLLM画像認識

Kimi

Kimi K2 / Kimi K3 / Moonshot AI Kimi / 月之暗面

中国のMoonshot AI(北京月之暗面)が開発するLLMシリーズ。ロングコンテキストから始まるチャットサービスと、オープンウェイトのMoEモデルKimi K2以降で展開されている

モデルLLMオープンウェイトマルチモーダル

VLA

Vision-Language-Action / VLAモデル

視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を出力する基盤モデル

モデルロボティクスマルチモーダル

マルチモーダルLLM

Multimodal LLM / MLLM

テキストに加え画像・音声・動画など複数モダリティの入出力を単一モデルで扱える大規模言語モデル

モデルマルチモーダルLLM

GPT-4V

GPT-4 Vision / GPT-4 with Vision

GPT-4に画像入力・理解機能を追加した、OpenAIのマルチモーダルモデルバリアント

モデルマルチモーダル画像認識

マルチモーダル関連の技術(8件)

マルチモーダル

Multimodal

テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法

技術マルチモーダル

世界モデル

World Model / World Models

環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル

技術深層学習強化学習マルチモーダル

動画理解

Video Understanding / 映像理解

動画中の物体・行動・場面展開などを認識し、内容を意味的に理解するタスク

技術マルチモーダル画像認識

マルチモーダル対話

Multimodal Dialogue

テキストに加えて画像・音声・動画など複数のモダリティを入出力に扱う対話

技術マルチモーダル対話AI

視覚対話

Visual Dialog / VisDial

画像を提示しながら複数ターンにわたり質問応答を行う対話タスク

技術マルチモーダル対話AI

マルチモーダル融合

Multimodal Fusion

複数モダリティの特徴表現を組み合わせ、単一の統合表現として扱う技術

技術マルチモーダル

バーチャル試着

Virtual Try-on / VTO

AIが衣服やアクセサリーを利用者の画像・映像上に合成し試着体験を提供する技術

技術画像認識マルチモーダル

音声AI

Voice AI / ボイスAI

人の音声を聞き取って理解し、音声で応答する、音声によるやり取りを担うAIの総称

技術音声マルチモーダル

マルチモーダル関連の比較

Gemini vs Grok

GeminiはGoogleが開発するテキスト・画像・音声・動画を統合的に扱うマルチモーダルLLMファミリー、GrokはxAIが開発するX(旧Twitter)とのリアルタイム統合を特徴とするLLMファミリー。いずれもチャットサービス・API経由で利用できる。

GeminiGrok

マルチモーダル関連の特集記事

主要オープンウェイトLLMモデル一覧

Llama・Mistral・DeepSeek・Qwen・Phi・Gemma等、モデルの重みが公開されている主要なオープンウェイトLLM・生成AIモデルを一覧で紹介。各モデルの特徴・開発元比較・リリース年表まとめ。

モデル9モデル

主要クローズドウェイトLLMモデル一覧

GPT・Claude・Gemini・Grok・Cohere等、モデルの重みが非公開でAPI経由で提供される主要なクローズドウェイトLLMを一覧で紹介。各モデルの特徴・開発元比較・発表年表まとめ。

モデル5モデル

マルチモーダル関連の年表

LLMの歴史

Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。

モデル8件のイベント / 2017 - 2025

MCP(Model Context Protocol)の歴史

AnthropicがLLMアプリケーションと外部ツール・データを接続する標準として公開したMCPが、主要AIベンダーを巻き込んだ業界標準へと広がっていった過程をたどる。

エージェント5件のイベント / 2024 - 2025

GPTの歴史

OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。

モデル8件のイベント / 2018 - 2025

Claudeの歴史

Anthropicが2023年に公開した対話型AI「Claude」の、Claude 2・Claude 3ファミリー・Computer Use・Claude Codeを経てClaude Sonnet 5に至るまでの変遷。

モデル8件のイベント / 2023 - 2026

関連するタグ

LLM画像認識オープンウェイト対話AIGoogleクローズドウェイト埋め込み深層学習強化学習ロボティクス