2025_NIPS_Self-Generated In-Context Examples Improve LLM Agents for Sequential Decision-Making Tasks

文章总结与翻译

一、主要内容

本文聚焦于大型语言模型（LLM）智能体在序贯决策任务中的自主改进，提出了一种无需人工干预、通过自身成功经验实现性能提升的方法。核心思路是构建并优化自生成轨迹数据库，将其作为上下文示例辅助未来任务决策，具体内容如下：

1. 研究背景：传统LLM智能体改进依赖大量任务特定知识工程（如定制提示词、人工示例、专用观测/动作空间），存在人力成本高、扩展性差的问题。
2. 核心方法：
   • 基础框架：基于ReAct风格智能体，通过检索自生成轨迹数据库为每个决策点提供上下文示例。
   • 轨迹自举（Traj-Bootstrap）：收集智能体成功完成任务的轨迹，积累形成基础数据库。
   • 两级优化：数据库级筛选（+DB-Curation）采用群体训练思想，保留高性能数据库并复制传播；示例级筛选（+Exemplar-Curation）通过检索加权质量指标，筛选出对任务成功贡献最大的个体轨迹。
3. 实验验证：在ALFWorld（文本导航与物体操作）、InterCode-SQL（交互式SQL生成）、Wordcraft（组合推理）三个基准测试中验证，基础轨迹积累已能显著提升性能，两级优化后ALFWorld成功率达93%，超越使用更强LLM和手工组件的方法。
4. 扩展研究：验证了自收集轨迹可用于微调模型、数据库能跨模型迁移（如从GPT-4o-mini迁移到Mixtral 8x7B