一句话导读
如今最常用的AI训练优化器，收敛快又稳
论文信息
| 英文原名 | Adam: A Method for Stochastic Optimization |
| 中文常用名 | Adam优化器 |
| 作者 | Kingma, Ba |
| 发表年份 | 2015 |
| 出处 / 获取 | arXiv:1412.6980 |
| 所属专题 | 深度学习基础 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：SGD（随机梯度下降）收敛慢、对学习率敏感；AdaGrad 累积梯度平方导致学习率过早衰减；RMSProp 等自适应方法各有局限。深度学习训练亟需一个”开箱即用”的稳健优化器。
二、核心创新：Adam（Adaptive Moment Estimation）融合两种动量思想：①一阶矩估计（梯度均值，类似动量，加速收敛）；②二阶矩估计（梯度平方均值，自适应学习率，类似 RMSProp）。每一步更新同时利用”方向”与”尺度”信息，且通过偏差校正（Bias Correction）消除初期估计偏差。
三、关键技术细节：① 更新公式：m_t=β1·m_{t-1}+(1-β1)·g_t；v_t=β2·v_{t-1}+(1-β2)·g_t²，再除以校正项后更新参数；② 默认超参数 β1=0.9、β2=0.999、ε=1e-8，几乎无需调参；③ 论文在逻辑回归、MLP、CNN（CIFAR-10）等任务上证明其收敛快于 SGD/AdaGrad/RMSProp，且对噪声与稀疏梯度稳健；④ 2014 年发表于 ICLR，是深度学习工程史上引用量最高的论文之一。
影响与后续发展
Adam 及其变体（AdamW、LAMB、Adafactor）成为现代深度学习的默认优化器——从 CNN、Transformer 到大语言模型、扩散模型训练几乎都以 Adam 系列为基础；AdamW 将权重衰减与自适应学习率解耦，进一步巩固了其在大模型训练中的统治地位。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Adam: We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, computationally efficient, has little memory requirements, and is well suited for problems that are large in terms of data and/or parameters. Adam has become the default optimizer for training deep neural networks.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。