一句话导读
训练时随机”关掉”部分神经元,防止模型过拟合
论文信息
| 英文原名 | Dropout: A Simple Way to Prevent Neural Networks from Overfitting |
| 中文常用名 | 随机失活(Dropout) |
| 作者 | Srivastava, Hinton, Krizhevsky, et al. |
| 发表年份 | 2014 |
| 出处 / 获取 | JMLR 2014 |
| 所属专题 | 深度学习基础 |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:深度网络参数多、容易过拟合——模型”背下”训练集而无法泛化。传统正则化(L2 权重衰减)对大网络效果有限,需要一种更强力、更通用的抑制过拟合手段。
二、核心创新:Dropout 在每次训练迭代中随机”丢弃”一部分神经元(连同其连接,比例为 p,通常 0.5),迫使网络不依赖任何单个神经元,从而学到更鲁棒的分布式特征表示。测试时使用完整网络(权重乘以 1-p 补偿)。
三、关键技术细节:① 每个 mini-batch 独立采样掩码,相当于在指数级多的”子网络”上训练,最后隐式集成;② 论文从理论(抑制共适应)与实验(MNIST、CIFAR、语音识别等)两方面验证其显著降低过拟合;③ 与最大池化、L2 正则等结合使用效果更佳;④ 在 AlexNet 中 Dropout 是 ImageNet 夺冠的关键组件之一。
影响与后续发展
Dropout 是现代深度学习最通用的正则化技术之一,其”随机丢弃”思想衍生出 DropConnect、SpatialDropout、以及 Transformer 中的注意力 Dropout 等变体,也被用于近似贝叶斯推断(MC Dropout 不确定性估计)。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
Deep neural nets with a large number of parameters are very powerful machine learning systems. However, overfitting is a serious problem in such networks. Large networks are also slow to use. We propose to prevent overfitting by randomly dropping units (along with their connections) from the neural network during training. This technique, called dropout, significantly reduces overfitting and gives major improvements over other regularization methods.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。