一句话导读
一句话生成惊艳图像的划时代文生图模型
论文信息
| 英文原名 | Hierarchical Text-Conditional Image Generation with CLIP Latents |
| 中文常用名 | DALL·E 2 |
| 作者 | Ramesh, Dhariwal, Nichol, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2204.06125 |
| 所属专题 | 多模态 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：DALL·E 1 用 VQ-VAE+自回归 Transformer 生成图像，但存在”文本与图像语义对齐不足、生成质量有限”等问题。能否用 CLIP 的语义空间+扩散模型实现更逼真的文生图？
二、核心创新：DALL·E 2（unCLIP）提出两阶段生成：①先验（Prior）：把文本描述映射为 CLIP 图像嵌入；②解码器（Decoder）：以 CLIP 图像嵌入（+文本）为条件，用扩散模型生成高分辨率图像。其名称”unCLIP”意为把”图像→文本对齐”反过来用于”文本→图像”生成。
三、关键技术细节：① 利用 CLIP 联合嵌入空间实现文本-图像语义对齐；② 先验用扩散模型预测 CLIP 图像嵌入（比自回归更高效）；③ 解码器为条件扩散模型，可生成 256×256 并超分到 1024×1024；④ 提出图像编辑（text-guided inpainting/outpainting）、变体生成（以图像为条件生成不同版本）等能力；⑤ 在 MS-COCO 上 FID 显著优于 DALL·E 1 与 GLIDE，且文本相关性更强。
影响与后续发展
DALL·E 2 确立了”CLIP 语义空间+扩散解码”的文生图主流路线，其图像编辑与变体能力也成为后续产品（Midjourney、Stable Diffusion 编辑工具）的标准功能，是 OpenAI 文生图产品线的关键一环。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
DALL·E 2: We present a new two-stage model for text-conditional image generation. Our model, called unCLIP, uses a prior that maps text to CLIP image embeddings and a decoder that generates images conditioned on those embeddings. It is capable of creating photorealistic images from text prompts, editing and retouching images, and producing diverse variations of a given image.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。