一句话导读
强化学习”逼”出推理能力，开源推理模型代表
论文信息
| 英文原名 | DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning |
| 中文常用名 | DeepSeek-R1（推理大模型） |
| 作者 | Guo, Yang, Zhang, et al. |
| 发表年份 | 2025 |
| 出处 / 获取 | arXiv:2501.12948 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：2024 年 OpenAI o1 展示了”思维链+强化学习”训练推理模型的可能性，但闭源且细节不公开。能否用大规模强化学习（而非大规模人工标注）直接训练出强推理能力的开源模型？
二、核心创新：DeepSeek-R1 提出两阶段方案：①R1-Zero：直接从基座模型出发，用纯强化学习（GRPO 算法+可验证奖励，如数学答案正确性）训练推理，无需任何监督数据，模型自发涌现出反思、多路径验证等推理行为——证明 RL 足以单独激发推理能力；②R1：在 R1-Zero 基础上加入少量冷启动监督数据（SFT）与”推理+通用任务”多阶段 RL，兼顾推理与通用对话能力。
三、关键技术细节：① 使用 GRPO（组相对策略优化）替代 PPO，去掉价值网络、按组内相对奖励更新，显著降低显存与训练成本；② 奖励设计以”格式奖励+准确率奖励”为主，可验证性强；③ 蒸馏（Distill）：用 R1 生成的高质量推理数据训练小模型（1.5B~70B 蒸馏版），让开源小模型也具备推理能力；④ R1 在 AIME 2024（准确率 79.8%）、MATH-500（97.3%）等推理基准上达到或超过 o1，且开源模型权重与训练细节。
影响与后续发展
DeepSeek-R1 是开源推理模型的里程碑：证明”纯 RL 可激发推理””低成本训练超强推理模型”两条路线，带动全球推理模型（含各开源蒸馏版）的爆发，也深刻影响了国产大模型在数学、代码、科研推理领域的能力格局。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
We introduce DeepSeek-R1, a first-generation reasoning model trained with large-scale reinforcement learning (RL). It demonstrates that RL can significantly enhance reasoning capabilities without supervised fine-tuning. DeepSeek-R1 achieves performance comparable to OpenAI’s o1 on reasoning benchmarks such as AIME 2024 and MATH-500. We also release DeepSeek-R1-Zero and open-source the models and data to promote research in the community.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。