一句话导读
在“潜空间”里扩散生成图像,文生图技术地基
论文信息
| 英文原名 | High-Resolution Image Synthesis with Latent Diffusion Models |
| 中文常用名 | 潜在扩散模型(Stable Diffusion基础) |
| 作者 | Rombach, Blattmann, Lorenz, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2112.10752 |
| 所属专题 | 多模态 |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:DDPM 等扩散模型生成质量高,但直接在像素空间迭代去噪计算量巨大(生成一张 512×512 图需数百次网络前向),训练与推理成本极高。能否把扩散过程搬到一个低维潜空间,大幅降低成本?
二、核心创新:论文提出潜在扩散模型(LDM):先用预训练 VAE 把图像压缩到低维潜空间(8 倍下采样),再在潜空间上执行扩散去噪,最后用 VAE 解码器还原像素图像。这样计算量降低一个数量级,同时保留生成质量。还引入”交叉注意力(Cross-Attention)”让扩散模型接受文本、语义图等条件输入。
三、关键技术细节:① 潜空间约 4×64×64,远小于像素空间的 512×512×3;② 用 KL 正则与对抗损失训练 VAE 保证潜空间质量;③ 条件生成(text-to-image)通过 UNet 与文本编码器(CLIP)的交叉注意力实现;④ 支持多种条件(涂鸦图、分割图、深度图、超分等)形成通用”条件生成框架”;⑤ 训练在 8 卡 A100 上即可完成,推理单卡可行——这使其成为首个大规模落地的开源文生图系统。
影响与后续发展
LDM 催生了 Stable Diffusion(开源社区在 LDM 基础上构建),引爆了全民 AI 作画浪潮;其”潜空间扩散+交叉注意力条件注入”成为此后所有主流文生图/文生视频扩散模型的通用底座(SDXL、SD3、Flux、Sora 的时空潜空间扩散等)。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
High-Resolution Image Synthesis with Latent Diffusion Models: We present latent diffusion models, which apply diffusion models in latent space to enable high-resolution image synthesis while significantly reducing computational requirements. Our models achieve state-of-the-art results on image generation benchmarks, and the public model, Stable Diffusion, has become the most widely used open text-to-image system.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。