一句话导读
RLHF技术雏形，让输出更合人类偏好
论文信息
| 英文原名 | Fine-Tuning Language Models from Human Preferences |
| 中文常用名 | 基于人类偏好的模型微调 |
| 作者 | Ziegler, Stiennon, Wu, et al. |
| 发表年份 | 2019 |
| 出处 / 获取 | arXiv:1909.08593 |
| 所属专题 | 对齐与安全 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：语言模型生成质量高但缺乏”人的品味”：生成的文本虽语法正确却平淡、冗长或重复。能否用人类偏好作为奖励直接优化语言模型，让输出更受人类欢迎？
二、核心创新：论文（OpenAI 2019）将”奖励学习”用于文本生成：先让人类对（同一提示下的两段文本）比较偏好，训练奖励模型；再用策略梯度（PPO）优化语言模型以最大化奖励，实现”从人类偏好中学习”的端到端文本优化。
三、关键技术细节：① 奖励模型在约 5 万条人类对比数据上训练；② 用 PPO 训练策略模型，加入 KL 正则防止奖励黑客（模型用语法错误换取高奖励）；③ 在摘要任务（CNN/Daily Mail、TL;DR）与故事续写上，人类评估显著偏好 RLHF 微调后的模型；④ 发现奖励模型可识别模型改进方向（如”更相关、更少重复、更生动”），并演示了在 1.5B 模型上微调即可超越更大基线。
影响与后续发展
这是”奖励学习+语言模型”的开创性工作，直接衔接了 RLHF 从”游戏/机器人”到”文本生成”的迁移，是 InstructGPT 与 ChatGPT 技术链条上的关键一环，也奠定了”以人类偏好为奖励”的语言模型优化范式。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Fine-Tuning Language Models from Human Preferences: We apply reward learning to fine-tune language models from human preferences, combining a reward model trained on human comparisons with policy optimization. Our method improves the quality and descriptiveness of generated text and reduces repetition, demonstrating that human preferences can effectively guide language model fine-tuning.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。