ResNet(残差网络)(Deep Residual Learning for Image Recognition)

一句话导读

靠”残差捷径”让上百层网络轻松训练,业界标配

论文信息

英文原名 Deep Residual Learning for Image Recognition
中文常用名 ResNet(残差网络)
作者 He, Zhang, Ren, et al.
发表年份 2016
出处 / 获取 arXiv:1512.03385
所属专题 经典网络架构

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:在 ResNet 之前,学者普遍认为网络越深效果越好,但实验发现单纯堆叠层数会导致训练误差反而升高(”退化问题”)——这不是过拟合,而是深层网络难以优化。如何让几十上百层的网络真正训练得动,是深度学习从”浅层”走向”深层”的关键瓶颈。

二、核心创新:论文提出残差学习框架:不再让网络直接学习期望的映射 H(x),而是学习残差 F(x)=H(x)-x,输出为 F(x)+x(恒等映射捷径连接 Shortcut Connection)。这一改动让梯度可以直接”跳过”若干层回传,从根本上缓解了深层网络梯度消失/爆炸和优化困难问题。

三、关键技术细节:① 瓶颈设计(Bottleneck):每层用 1×1→3×3→1×1 卷积压缩通道,大幅降低计算量;② 堆叠 34/50/101/152 层构建 ResNet 系列;③ 采用批归一化+ReLU+残差的标准组合;④ 在 ImageNet 上,152 层 ResNet 将 top-5 错误率降到 3.57%,超过人类水平(约 5.1%),并在 ILSVRC 2015 分类、检测、定位、分割全部赛道夺冠。

影响与后续发展

ResNet 的残差连接成为几乎所有现代深度网络的标配(从 CNN 到 Transformer 的残差块),其”跨层捷径”思想后来也被 DenseNet、U-Net、GPT/Transformer 等继承。它证明了深度本身是性能的重要来源,为后来千层网络与超大模型的出现扫清了障碍。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. Our 152-layer residual network won first place in the ILSVRC 2015 classification competition.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部