第9章 语言级自我改进：Reflexion 与记忆机制

本章深入探讨大语言模型（LLM）实现语言级自我改进的核心技术——Reflexion 框架及其配套的记忆机制。区别于依赖外部训练数据或人类反馈的改进方式，Reflexion 赋予模型在推理过程中主动反思自身行为、从经验中学习并优化后续决策的能力，是构建具备“元认知”能力智能体的关键突破。同时，有效的长期记忆管理是支撑这一持续学习过程的基础设施。本章将系统解析 Reflexion 的工作原理、与强化学习的协同策略，以及记忆的全生命周期管理。

---

9.1 Reflexion 方法详解

Reflexion (Shinn et al., 2023, arXiv:2303.11366) 的核心思想是：让 LLM 在任务执行过程中或之后，主动“思考”其行为的得失，生成结构化的反思结论，并将这些结论存储为可检索的经验，用于指导未来的行动。 它本质上是将“反思”这一人类高级认知能力，内化为模型推理流程的一部分。

9.1.1 反思策略：触发与记录

• 何时触发反思 (Reflection Triggering):

  • 任务失败/终止信号： 最核心的触发点。当模型接收到明确的外部反馈（如环境返回的负奖励、任务未完成标志）或通过自我验证（如执行生成的代码报错、答案被验证器拒绝）判定当前尝试失败时，立即触发反思。