变分自编码器(VAE)(Auto-Encoding Variational Bayes)

一句话导读

用“编码-解码”概率生成新数据的经典生成模型

论文信息

英文原名 Auto-Encoding Variational Bayes
中文常用名 变分自编码器(VAE)
作者 Kingma, Welling
发表年份 2014
出处 / 获取 arXiv:1312.6114
所属专题 生成模型

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:传统变分推断需要人工推导每一类模型的证据下界(ELBO),难以扩展到大规模数据与复杂模型;EM 算法、MCMC 等在大数据时代效率不足。能否让”推断”也交给神经网络自动学习,实现端到端的贝叶斯建模?

二、核心创新:论文提出变分自编码器(VAE)与重参数化技巧(Reparameterization Trick):用编码器网络 q_φ(z|x) 近似后验分布(输出均值与方差),用解码器网络 p_θ(x|z) 生成数据;目标是最小化”重建误差 + KL 散度(让隐变量分布靠近先验 N(0,I))”。重参数化技巧把随机采样 z 改写为 z=μ+σ·ε(ε~N(0,I)),使梯度可以通过采样节点反向传播,让整个模型可用 SGD 训练。

三、关键技术细节:① 同时提出”自动编码变分贝叶斯(AEVB)”与 SGVB(随机梯度变分贝叶斯)估计器;② 支持大规模随机小批量训练(mini-batch 上估计 ELBO);③ 在 MNIST、Frey Faces 上生成的样本质量显著优于当时其他隐变量模型,且隐空间具有语义连续性(可做插值、属性编辑);④ 论文还讨论了变分推断与摊销推断(Amortized Inference)的关系,奠定了深度生成模型的数学框架。

影响与后续发展

VAE 是深度生成模型的三大支柱之一(与 GAN、扩散模型并列):其”编码-解码+隐空间”思想催生了 VQ-VAE、β-VAE、CVAE 等大量变体,广泛应用于图像生成、表示学习、异常检测、以及 Stable Diffusion 底层使用的 VAE 潜空间压缩。重参数化技巧更成为整个深度概率编程与强化学习(SAC 等)的基础工具。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

Auto-Encoding Variational Bayes (VAE): We introduce a stochastic variational inference and learning algorithm that can scale to large datasets and works even in the presence of complicated posterior distributions. We show that our model learns coherent latent representations for images, and we demonstrate the generative capabilities of the approach on the MNIST and Frey Face datasets.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部