一句话导读
用人类反馈训练模型更听话，ChatGPT技术源头
论文信息
| 英文原名 | Training Language Models to Follow Instructions with Human Feedback |
| 中文常用名 | InstructGPT（人类反馈训练） |
| 作者 | Ouyang, Wu, Jiang, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2203.02155 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：GPT-3 虽能力强大，但常常”答非所问”：生成有毒内容、编造事实、不遵循用户指令。原因在于语言模型的目标是”预测下一个词”而非”满足用户意图”。如何让模型真正”听懂人话、照着做”？
二、核心创新：论文提出基于人类反馈的强化学习（RLHF）三阶段流程：①有监督微调（SFT）：用人工撰写的”指令-回答”数据微调 GPT-3；②训练奖励模型（RM）：让标注者对多个回答排序，训练一个模型打分预测人类偏好；③强化学习（PPO）：用奖励模型作奖励，通过 PPO 优化策略，让模型生成更符合人类偏好的回答。
三、关键技术细节：① 标注者直接撰写 1.3 万条指令-回答数据做 SFT；② 奖励模型在 3.3 万条偏好对比数据上训练；③ PPO 训练时加入 KL 惩罚（防止偏离原模型太远）与预训练梯度混合，避免”奖励黑客”导致能力退化；④ 评测显示人类标注者对 InstructGPT 的偏好显著高于 GPT-3（1.3B InstructGPT 优于 175B GPT-3），同时更真实（减少编造）、更少有毒输出。
影响与后续发展
InstructGPT 是 ChatGPT 的直接前身（ChatGPT 即其对话化产品），它确立了”预训练→SFT→奖励模型→PPO”这一现代大模型对齐的标准流水线，也确立了”对齐（Alignment）”作为大模型核心研究方向的地位。其后的 GPT-4、Claude、Gemini 等均沿此路线迭代。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
InstructGPT: We show that language models can be aligned with user intent by fine-tuning with human feedback. Using a technique called Reinforcement Learning from Human Feedback (RLHF), we fine-tune GPT-3 to follow instructions. Our models are significantly preferred by human labelers over much larger models, are more truthful, and generate less toxic output. This work is the foundation of ChatGPT.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。