一句话导读
“AI教AI”自我约束，让模型更安全无害
论文信息
| 英文原名 | Constitutional AI: Harmlessness from AI Feedback |
| 中文常用名 | 宪法AI（Constitutional AI） |
| 作者 | Bai, Kadavath, Kundu, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2212.08073 |
| 所属专题 | 对齐与安全 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：RLHF（基于人类反馈的强化学习）需要大量人类标注者对模型输出排序打分，成本高、扩展性差，且标注者偏好可能引入偏见。能否用”AI 反馈”代替”人类反馈”来实现模型对齐？
二、核心创新：论文提出宪法式 AI（Constitutional AI，CAI）：先让模型依据一小套”行为原则（宪法）”自我批评并修订有害回答（监督学习阶段，无需人工标注），再训练一个”AI 偏好模型”（用 AI 反馈代替人类偏好标注），最后用 RLHF 强化对齐。整个过程只有”写宪法”需要人类参与，标注成本大幅下降。
三、关键技术细节：① 宪法包含”帮助、无害、诚实”等原则清单（如”不提供造成伤害的信息””承认不确定性”等）；② 两阶段：SL-CAI（自我修订生成偏好数据）→ RL-CAI（基于 AI 反馈的强化学习）；③ 通过”链式自我批评”生成修订样本：模型先回答有害问题、再依据原则自我批评、最后给出无害且有帮助的修订版；④ 实验证明 CAI 模型在”有用性-无害性”权衡上与 RLHF 模型相当甚至更优，且毒性输出更少。
影响与后续发展
宪法 AI 提供了”可扩展监督（Scalable Oversight）”的实用路径，是 Anthropic Claude 系列安全对齐的核心方法，也启发了 RLAIF（基于 AI 反馈的强化学习）、原则对齐（Principle Alignment）等新一代对齐技术，对大模型安全治理影响深远。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Constitutional AI: We aim to train an AI assistant such that it responds to harmful queries by explaining its objections and then gives a helpful response. We train a model to be helpful and harmless using AI feedback from a small set of principles (a ‘constitution’), instead of large amounts of human labelers. This approach scales supervision and reduces reliance on human feedback for safety alignment.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。