DiffusionGemmaとは
Diffusion Gemma
Gemma 4のMoEアーキテクチャをベースに、離散拡散でテキストをブロック単位に並列生成するGoogle DeepMindの実験的オープンウェイトモデル
最終更新:
概要
DiffusionGemmaは、Google DeepMindが公開した実験的なオープンウェイトのDiffusion LLM。 Gemma 4の26B A4B Mixture-of-Experts(MoE)アーキテクチャをベースとし、テキスト・画像・動画を入力として受け取り、テキストを出力するマルチモーダルモデル。 従来のGemmaが1トークンずつ順番に生成する自己回帰型であるのに対し、DiffusionGemmaは離散拡散(discrete diffusion)によって生成する。プレースホルダートークンで埋めたブロック(キャンバス)を用意し、確定したトークンを手がかりに残りを繰り返し修正しながら、256トークン単位で並列にノイズ除去していく。ブロック自体は順に生成するため、ブロック単位の自己回帰と拡散を組み合わせた方式といえる。 デコード処理のボトルネックがメモリ帯域から計算へ移るため、専用GPU上では既存のGemmaモデルと比べて最大4倍の生成速度を示し、単一のNVIDIA H100で毎秒1,000トークン以上を出力できるとされる。 総パラメータ数は26Bだが推論時に活性化するのは3.8Bのみで、量子化すれば18GB程度のVRAMを持つコンシューマ向けGPUにも収まる。 ブロック内のトークン同士が双方向に参照し合えるため、インライン編集やコードの穴埋め(infilling)など、前後の文脈を同時に扱うタスクと相性が良い。 一方で出力品質は標準のGemma 4より低く、Googleは品質を最優先する用途には標準のGemma 4を推奨している。ライセンスはApache 2.0。
歴史
2026年6月10日: Google DeepMindがDiffusionGemmaを発表し、実験的モデルとしてApache 2.0ライセンスで重みを公開。同時にvLLM・MLX・Hugging Face Transformersでの推論サポートが提供された。
利点
欠点
比較
- Gemma — Gemmaは自己回帰型でトークンを順に生成するのに対し、DiffusionGemmaは拡散によってブロック単位で並列生成する
- Diffusion LLM — Diffusion LLMは生成方式の総称で、DiffusionGemmaはGoogleがオープンウェイトで公開したその実装の1つ