一句话导读
让神经网络学会”从错误中学习”,AI训练的根本方法
论文信息
| 英文原名 | Learning representations by back-propagating errors |
| 中文常用名 | 误差反向传播 |
| 作者 | Rumelhart, Hinton, Williams |
| 发表年份 | 1986 |
| 出处 / 获取 | Nature 323 |
| 所属专题 | 深度学习基础 |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:1980 年代,感知机(Perceptron)被证明无法解决 XOR 等非线性问题,神经网络研究陷入低谷;多层网络的训练又缺乏有效算法。能否找到一种让多层网络自动学习内部表示的通用训练方法?
二、核心创新:论文(Rumelhart、Hinton、Williams,1986)系统阐述了误差反向传播(Backpropagation)算法:把网络输出与目标的误差,通过链式法则从输出层逐层向输入层反向传播,计算每个权重的梯度,再用梯度下降更新权重。该方法使任意多层前馈网络都可以被有效训练。
三、关键技术细节:① 提出”广义 delta 规则”:输出层误差直接计算,隐藏层误差由上层误差加权传播;② 与梯度下降结合,最小化平方误差;③ 论文展示了多层网络能学习 XOR 问题与内部表示(隐藏单元形成有意义特征);④ 证明”分布式内部表示”是网络泛化能力的关键;⑤ 该文发表时正值连接主义复兴,成为深度学习理论的奠基文献之一。
影响与后续发展
反向传播是现代深度学习训练的核心引擎:从 CNN、RNN 到 Transformer、扩散模型,几乎所有神经网络都靠它学习;Hinton 等也因深度学习(含反向传播思想)获得 2018 年图灵奖。其”链式求导+梯度下降”范式至今未变。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
We describe a new learning procedure, back-propagation, for networks of neurone-like units. The procedure repeatedly adjusts the weights of the connections in the network so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector. Because the method requires the derivatives of the error with respect to the network weights, it can be applied to networks with any differentiable activation function. We show how the method can be used to train networks with multiple hidden layers, and demonstrate that it can learn the internal representations required for tasks such as recognizing visual shapes.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。