一句话导读
智能体失败后”自我复盘”，越挫越勇
论文信息
| 英文原名 | Reflexion: Language Agents with Verbal Reinforcement Learning |
| 中文常用名 | Reflexion（反思式智能体） |
| 作者 | Shinn, Cassano, Berman, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2303.11366 |
| 所属专题 | AI Agent |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：语言 Agent 在复杂任务中常犯可修复的错误，但现有强化学习需更新权重（成本高、易遗忘），单纯提示又能让模型”从失败中学习”。能否让智能体把失败经验存进”记忆”，在下一次尝试中直接避免重蹈覆辙？
二、核心创新：Reflexion 提出”言语强化学习（Verbal Reinforcement Learning）”：智能体完成一次任务后，用自评估（如测试结果、环境反馈）发现失败原因，并把反思（自然语言）存入情景记忆（Episodic Memory）；下一次尝试时，反思作为额外上下文注入，让模型直接依据过往教训调整策略——全程不需要梯度更新。
三、关键技术细节：① 三个组件：Actor（LLM 策略）、Evaluator（自评估模型或规则，判断任务是否成功）、Self-Reflection（生成改进建议）；② 反思格式：先总结”出了什么问题”，再给”下次如何改进”的具体建议；③ 在决策（ALFWorld）、推理（HotpotQA）、代码生成（HumanEval）三类任务上验证；④ HumanEval 上 Pass@1 从 67% 提升到 91%，且无需任何权重微调——证明”言语反馈”可作为有效的训练信号。
影响与后续发展
Reflexion 确立了”自我反思+情景记忆”的 Agent 增强范式，启发了自我修正（Self-Refine）、语言奖励模型、Agent 记忆系统等大量后续研究，也是当前”智能体自我进化”技术（如自我对弈、经验库）的重要思想来源。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
Reflexion: We introduce Reflexion, a framework that reinforces language agents by incorporating verbal reinforcement learning, where an agent evaluates its own failures and stores reflections in episodic memory. Reflexion consistently improves performance on decision-making, reasoning, and code-generation tasks, outperforming prior state-of-the-art methods without any weight updates.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。