2025_NIPS_Reflexion: language agents with verbal reinforcement learning

文章主要内容和创新点总结

主要内容

本文提出了一种名为Reflexion的新型框架，旨在解决大型语言模型（LLMs）作为目标驱动智能体时，难以通过试错快速高效学习的问题——传统强化学习方法需大量训练样本和昂贵的模型微调，而Reflexion通过语言反馈而非权重更新来强化语言智能体。

该框架包含三个核心模型：生成文本和动作的Actor模型、评估Actor输出质量的Evaluator模型、生成语言强化提示以辅助Actor自我改进的Self-Reflection模型，同时引入短期记忆（轨迹历史）和长期记忆（自我反思结果）机制。

研究团队在三类任务中进行了实验验证：

1. 决策任务（AlfWorld）：测试长轨迹上的序列动作选择，Reflexion在12次迭代学习中较基线提升22%；
2. 推理任务（HotPotQA）：测试知识密集型单步生成改进，性能提升20%；
3. 编程任务（HumanEval、MBPP、LeetcodeHardGym）：验证智能体对编译器等外部工具的使用能力，在HumanEval上实现91%的pass@1准确率，超越GPT-4的80%。

此外，文章还通过消融实验分析了不同反馈信号、反馈整合方式和智能体类型的影响，并指出了框架在局部最优解、复杂测试生成等方面的局限性，以及在安全性和可解释性上的潜在价值。

创新点

1. 提出“语言强化学习”新范式：无需微调LLM权重，通过将环境反馈转化为文本形式的语言反馈，存入情景记忆缓冲区，为后续任务提供改进方向，模拟人类通过反思过往失