一句话导读
平衡”有用”与”无害”的大模型对齐实践
论文信息
| 英文原名 | Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback |
| 中文常用名 | 有用且无害的RLHF助手 |
| 作者 | Bai, Jones, Ndousse, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2204.05862 |
| 所属专题 | 对齐与安全 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：大语言模型在”有用性（Helpful）”与”无害性（Harmless）”之间存在天然张力：过度安全会让模型拒绝过多、丧失可用性；过度开放则可能产生有害输出。Anthropic 希望系统研究 RLHF 如何在这两个目标间取得平衡。
二、核心创新：论文构建了完整的 RLHF 对齐实验：用”偏好模型（Preference Model）”对（回答对）打分，训练策略模型最大化偏好奖励，同时用”拒绝率/有用性”多指标评估。提出 RLHF 训练中”有用性与无害性”的可调平衡方法，并公开分享训练细节、调参经验与失败案例。
三、关键技术细节：① 数据集包含约 13.5 万个有用性偏好对与 4.2 万个无害性偏好对；② 训练分为”有用性 RLHF→无害性 RLHF→混合微调”多阶段；③ 发现偏好模型与策略模型同源训练可提升稳定性；④ 提出”红线（red teaming）”评估：主动诱导模型产生有害输出以检验防护；⑤ 报告了 RLHF 可能引入”谄媚（sycophancy）””拒答模式化”等副作用及缓解方法。
影响与后续发展
这篇论文与 InstructGPT 共同奠定了”RLHF 对齐”的标准实验范式，其经验（多阶段训练、偏好模型、红线测试）被 Claude、GPT 等对齐实践广泛沿用，并推动了”有用性-无害性”权衡（HHH）成为对齐研究的核心评价维度。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Training a Helpful and Harmless Assistant with RLHF: We study the RLHF pipeline to train a helpful and harmless assistant, and examine the tension between these two goals. We find that using a preference model as a reward signal and training with reinforcement learning can produce an assistant that is both more helpful and less harmful, and we analyze the limitations and safety challenges of this approach.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。