一句话导读
AI学会自己打游戏并达到人类水平,深度强化学习起点
论文信息
| 英文原名 | Human-level control through deep reinforcement learning |
| 中文常用名 | 深度Q网络(DQN) |
| 作者 | Mnih, Kavukcuoglu, Silver, et al. |
| 发表年份 | 2015 |
| 出处 / 获取 | Nature 518 |
| 所属专题 | 强化学习 |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:强化学习(RL)与环境交互收集奖励,但当使用非线性函数逼近器(如深度神经网络)表示动作价值(Q 函数)时,训练常常不稳定甚至发散——这是 2013 年 DQN 初版之后的核心难题。
二、核心创新:论文提出两项关键改进稳定深度 Q 学习:①经验回放(Experience Replay):把与环境交互得到的(状态、动作、奖励、下一状态)四元组存入回放池,训练时随机采样小批量,打破样本间的时间相关性;②目标网络(Target Network):维护一个周期性更新的独立 Q 网络用于计算目标值,减少”用正在更新的网络评估自身”带来的震荡。
三、关键技术细节:① 用 CNN 处理 Atari 游戏画面(84×84 灰度帧堆叠 4 帧作为输入);② 采用 ε-贪心探索(ε 从 1 线性衰减到 0.1);③ 奖励裁剪到 [-1,1] 稳定训练;④ 每 10000 步同步目标网络参数;⑤ 在 49 款 Atari 2600 游戏中,DQN 在 43 款上超过当时所有强化学习方法,并在 29 款上达到或超越人类专业玩家水平——这是深度强化学习的开山之作。
影响与后续发展
DQN 是深度强化学习(Deep RL)的奠基论文:经验回放与目标网络成为此后几乎所有 off-policy 强化学习算法的标准组件,直接启发了 Rainbow DQN、双 DQN、优先级回放等改进,也推动了 AlphaGo、AlphaZero 以及机器人、游戏 AI、工业控制中的深度 RL 应用。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
Reinforcement learning is known to be unstable or even divergent when a nonlinear function approximator such as a neural network is used to represent the action values. Here we show that these instabilities can be overcome by using an experience replay mechanism and a separate target network for periodic updates. We apply our method to a wide range of Atari 2600 games, and it substantially outperforms all previous approaches and achieves a level comparable to that of a professional human games tester.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。