一句话导读
让模型”一步一步想”,推理能力大幅提升
论文信息
| 英文原名 | Chain-of-Thought Prompting Elicits Reasoning in Large Language Models |
| 中文常用名 | 思维链(CoT) |
| 作者 | Wei, Wang, Schuurmans, et al. |
| 发表年份 | 2022 |
| 出处 / 获取 | arXiv:2201.11903 |
| 所属专题 | AI Agent |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:大语言模型在常识问答上表现不错,但面对需要多步推理的数学、逻辑题时频繁出错——模型”直接给答案”而不”逐步思考”。能否通过提示词让模型显式输出中间推理步骤?
二、核心创新:论文提出思维链提示(Chain-of-Thought, CoT):在少样本示例中展示”一步步推理”的过程(不仅给答案,还给出中间推理),引导模型在回答时也生成中间步骤,从而显著提升多步推理能力。实验证明 CoT 在算术、常识、符号推理三类任务上带来大幅提升。
三、关键技术细节:① 提示构造:每个示例包含”问题→推理过程→答案”,推理过程用自然语言描述(如”先算 X,再算 Y”);② 关键发现:仅在模型规模足够大(≥60B)时 CoT 收益显著(涌现能力),小模型提升有限;③ 在 GSM8K(小学数学)上,CoT 让 540B PaLM 的准确率从 17.9% 提升到 58.1%;④ 与 self-consistency(多次采样投票)等后处理结合可进一步提升。
影响与后续发展
CoT 是大模型”推理能力解锁”的里程碑提示技术:直接启发了思维树(ToT)、自洽性(Self-Consistency)、思维链自我修正等大量推理方法,也推动了推理模型(如 o1、DeepSeek-R1)将”思维链”内化为训练目标的演进。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
Chain-of-Thought Prompting: We explore how large language models’ ability to perform complex multi-step reasoning can be elicited by prompting them with a series of intermediate reasoning steps (chain-of-thought). This simple method dramatically improves performance on arithmetic, commonsense, and symbolic reasoning benchmarks, and the improvement is especially pronounced on tasks that require multiple reasoning steps.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。