一句话导读
稳定高效的强化学习算法，大模型对齐训练基石
论文信息
| 英文原名 | Proximal Policy Optimization Algorithms |
| 中文常用名 | PPO（近端策略优化） |
| 作者 | Schulman, Wolski, Dhariwal, et al. |
| 发表年份 | 2017 |
| 出处 / 获取 | arXiv:1707.06347 |
| 所属专题 | 强化学习 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：策略梯度方法（如 REINFORCE）方差大、样本效率低；TRPO（信赖域策略优化）虽稳定但实现复杂、计算代价高。能否设计一个既稳定、又简单易实现、数据效率高的策略优化算法？
二、核心创新：PPO 提出裁剪的代理目标函数（Clipped Surrogate Objective）：在每次更新中限制新旧策略的比值（重要性采样比）在 [1-ε, 1+ε]（ε 通常取 0.2），超出范围的更新被裁剪，从而在不显著偏离旧策略的前提下做多步梯度更新，兼顾稳定与效率。
三、关键技术细节：① 目标函数 L^CLIP = E[min(r_t·Â_t, clip(r_t,1-ε,1+ε)·Â_t)]，裁剪机制防止策略骤变；② 采用 GAE（广义优势估计）计算优势函数 Â_t；③ 支持在多个环境并行采样后统一优化，实现”数据并行+策略集中更新”；④ 配合价值网络共享权重，损失为策略损失+价值损失+熵正则的组合；⑤ 在 MuJoCo 机器人控制、Atari 等基准上达到或超过 TRPO 的性能，且实现与调参简单得多。
影响与后续发展
PPO 目前是强化学习领域使用最广泛的算法，也是 ChatGPT/InstructGPT 等大模型 RLHF（基于人类反馈的强化学习）训练中的默认策略优化器——可以说 PPO 是让大模型”学会对齐人类偏好”的关键技术组件之一。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Proximal Policy Optimization (PPO): We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment and optimizing a surrogate objective function using stochastic gradient ascent. PPO has the data efficiency and reliable performance of TRPO, while being much simpler to implement and tune, and has become the default algorithm in large-scale RLHF training.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。