潜在拡散モデルとは
Latent Diffusion Model / LDM
画像そのものではなく、次元を圧縮した潜在空間上で拡散過程を行うことで計算コストを抑えた拡散モデル
ひとことで言うと
画像を圧縮した小さな空間の中でノイズ除去を行い、計算コストを抑えた画像生成の仕組み。
概要
潜在拡散モデル(Latent Diffusion Model, LDM)とは、拡散モデルのノイズ除去過程を、画像のピクセル空間ではなく、オートエンコーダで次元圧縮した低次元の潜在空間上で行うアーキテクチャ。 ピクセル空間上で直接拡散過程を行う従来の拡散モデルは、高解像度画像を扱う場合に計算コスト・メモリ使用量が非常に大きくなる課題があった。潜在拡散モデルは、あらかじめ学習した(変分)オートエンコーダで画像を低次元の潜在表現へ圧縮し、その潜在空間上で拡散・ノイズ除去した後、デコーダで画像へ復元することで、画質を大きく損なわずに計算コストを削減する。 さらにクロスアテンション層を導入することで、テキスト等の条件付け情報を柔軟に取り込めるようにしており、text-to-image生成の基盤アーキテクチャとして広く採用されている。Stable Diffusionは、このアーキテクチャを採用した代表的なモデル。
背景
拡散モデルは高品質な画像生成を実現する一方、ピクセル空間上で直接ノイズ除去を繰り返す従来の方式は、解像度が上がるほど計算コスト・メモリ使用量が増大し、学習・推論の両面で大きな計算資源を要していた。潜在拡散モデルは、次元圧縮した潜在空間で拡散過程を行うことで、この計算コストの課題を解決するために考案された。
歴史
2022年6月: Rombach・Blattmann・Lorenz・Esser・OmmerらがCVPR 2022にて論文「High-Resolution Image Synthesis with Latent Diffusion Models」を発表し、潜在拡散モデルを提案。 同アーキテクチャは、後にStability AIが公開したStable Diffusionの基盤技術として採用された。
アーキテクチャ
事前学習した(変分)オートエンコーダのエンコーダで画像を低次元の潜在表現へ圧縮し、その潜在空間上でU-Net等を用いた拡散・ノイズ除去過程を実行する。テキスト等の条件付け情報はクロスアテンション層を通じてノイズ除去過程へ組み込まれ、最終的にデコーダで潜在表現を画像空間へ復元する。
利点
- ピクセル空間ではなく低次元の潜在空間で拡散過程を行うため、画質を大きく損なわずに計算コスト・メモリ使用量を抑えられる
- クロスアテンション層により、テキスト等多様な条件付け情報を柔軟に取り込める
欠点
比較
- 拡散モデル — 潜在拡散モデルは、拡散過程をピクセル空間ではなく潜在空間で行い、計算コストを抑えた拡散モデルの一種
- Stable Diffusion — Stable Diffusionは、潜在拡散モデルのアーキテクチャを採用した代表的な画像生成モデル
- U-Net — 潜在拡散モデルのノイズ除去過程には、U-Netアーキテクチャがよく用いられる
関連用語
よくある質問
潜在拡散モデルはなぜ計算コストを削減できる?
オートエンコーダにより次元圧縮した低次元の潜在空間に対して拡散・ノイズ除去するため、ピクセル空間で直接処理するより計算量・メモリ使用量を抑えられる。