一句话导读
用人类打分训练AI，奖励建模的开端
论文信息
| 英文原名 | Deep reinforcement learning from human preferences |
| 中文常用名 | 人类偏好深度强化学习 |
| 作者 | Christiano, Leike, Brown, et al. |
| 发表年份 | 2017 |
| 出处 / 获取 | arXiv:1706.03741 |
| 所属专题 | 对齐与安全 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：经典 RL 依赖人工设计的奖励函数，但在很多真实任务（如让机器人做家务、生成让人喜欢的文本）中，奖励难以定义。人类能轻松判断”做得好不好”，能否直接用人类判断训练强化学习智能体？
二、核心创新：论文提出”基于人类偏好的强化学习（RLHF 雏形）”：人类对智能体的行为轨迹两两比较打分（”哪个更好”），据此训练一个奖励模型，再通过策略优化（PPO）最大化该奖励——整个过程中无需设计显式奖励函数，只在”比较”环节需要人类参与。
三、关键技术细节：① 人类反馈用”轨迹段比较”（而非绝对分数），标注成本低、主观偏差小；② 奖励模型对轨迹段打分，基于 Bradley-Terry 模型拟合偏好；③ 实验在 Atari 游戏（回馈式反馈）、连续控制（MuJoCo）、与真实人类玩 Atari 三组场景验证；④ 证明即使在复杂任务（如倒立摆、跑步）上，仅靠少量人类偏好即可训练出接近手工奖励的效果。
影响与后续发展
这篇论文（OpenAI 2017）是现代 RLHF 的源头之一：其”偏好比较→奖励模型→策略优化”流程正是 InstructGPT/ChatGPT 对齐技术的直接前身，也被用于机器人学习、推荐系统等无法定义奖励的场景。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Deep reinforcement learning from human preferences: We explore methods for defining a reward function from human feedback and training a policy to maximize it, using feedback in the form of comparisons between trajectory segments. Our method can solve complex tasks without a hand-designed reward function, and is one of the key foundations of RLHF used to align modern language models.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。