一句话导读
给网络”标准化”提速，深层模型训练的必备技巧
论文信息
| 英文原名 | Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift |
| 中文常用名 | 批归一化（BatchNorm） |
| 作者 | Ioffe, Szegedy |
| 发表年份 | 2015 |
| 出处 / 获取 | arXiv:1502.03167 |
| 所属专题 | 深度学习基础 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：深层网络训练缓慢且对初始化/学习率极敏感，原因是”内部协变量偏移（Internal Covariate Shift）”：每层输入分布随前层参数更新不断变化，迫使网络持续适应新分布。
二、核心创新：批归一化（BatchNorm）在每个 mini-batch 内对层激活做标准化：减去均值、除以标准差（再经可学习缩放 γ 与平移 β 复原表达能力），使每层输入分布稳定在零均值单位方差附近。归一化后的网络可用更高学习率、更少依赖初始化，并在部分情况下替代 Dropout。
三、关键技术细节：① 训练时用 batch 统计量归一化，推理时用累积移动平均统计量；② 归一化后再做仿射变换（γ、β），保留网络表达能力；③ 论文在 MNIST 上演示内部协变量偏移被显著抑制，在 ImageNet Inception 上训练速度提升约 14 倍且精度更高；④ 后续研究（如 BN 与优化几何的关系）证明其本质是平滑损失曲面、允许更大学习率。
影响与后续发展
BatchNorm 是让”深网络真正可训练”的关键技术之一，几乎所有 CNN（ResNet、Inception、VGG 后期）都依赖它；后续又衍生出 LayerNorm（Transformer 标准）、InstanceNorm、GroupNorm 等，共同构成现代网络的归一化家族。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Batch Normalization: Training deep neural networks is complicated by the fact that the distribution of each layer’s inputs changes during training, slowing convergence. We propose a technique called batch normalization that normalizes layer inputs and reduces internal covariate shift. This allows much higher learning rates, reduces sensitivity to initialization, and in some cases eliminates the need for dropout.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。