深度Q网络(DQN)(Human-level control through deep reinforcement learning)

一句话导读

AI学会自己打游戏并达到人类水平,深度强化学习起点

论文信息

英文原名 Human-level control through deep reinforcement learning
中文常用名 深度Q网络(DQN)
作者 Mnih, Kavukcuoglu, Silver, et al.
发表年份 2015
出处 / 获取 Nature 518
所属专题 强化学习

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:强化学习(RL)与环境交互收集奖励,但当使用非线性函数逼近器(如深度神经网络)表示动作价值(Q 函数)时,训练常常不稳定甚至发散——这是 2013 年 DQN 初版之后的核心难题。

二、核心创新:论文提出两项关键改进稳定深度 Q 学习:①经验回放(Experience Replay):把与环境交互得到的(状态、动作、奖励、下一状态)四元组存入回放池,训练时随机采样小批量,打破样本间的时间相关性;②目标网络(Target Network):维护一个周期性更新的独立 Q 网络用于计算目标值,减少”用正在更新的网络评估自身”带来的震荡。

三、关键技术细节:① 用 CNN 处理 Atari 游戏画面(84×84 灰度帧堆叠 4 帧作为输入);② 采用 ε-贪心探索(ε 从 1 线性衰减到 0.1);③ 奖励裁剪到 [-1,1] 稳定训练;④ 每 10000 步同步目标网络参数;⑤ 在 49 款 Atari 2600 游戏中,DQN 在 43 款上超过当时所有强化学习方法,并在 29 款上达到或超越人类专业玩家水平——这是深度强化学习的开山之作。

影响与后续发展

DQN 是深度强化学习(Deep RL)的奠基论文:经验回放与目标网络成为此后几乎所有 off-policy 强化学习算法的标准组件,直接启发了 Rainbow DQN、双 DQN、优先级回放等改进,也推动了 AlphaGo、AlphaZero 以及机器人、游戏 AI、工业控制中的深度 RL 应用。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

Reinforcement learning is known to be unstable or even divergent when a nonlinear function approximator such as a neural network is used to represent the action values. Here we show that these instabilities can be overcome by using an experience replay mechanism and a separate target network for periodic updates. We apply our method to a wide range of Atari 2600 games, and it substantially outperforms all previous approaches and achieves a level comparable to that of a professional human games tester.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部