2025_NIPS_Retrospective In-Context Learning for Temporal Credit Assignment with Large Language Model

一、文章主要内容总结

该研究聚焦于大语言模型（LLMs）在稀疏环境反馈下的时序信用分配与在线强化学习问题，核心是解决LLM智能体自进化训练中样本效率低、泛化能力有限的痛点。

1. 核心挑战：在多轮序列决策任务中，环境反馈通常稀疏（仅在任务完成时获得奖励），传统时序信用分配方法依赖任务特定价值函数，存在样本效率低、泛化性差的问题。
2. 核心方法：
   • 提出回顾性上下文学习（RICL）：利用LLM的预训练知识，通过回顾轨迹反馈生成细粒度指导，将稀疏奖励转化为稠密的优势函数（训练信号），实现高效时序信用分配。
   • 提出在线学习框架RICOL：基于RICL的信用分配结果，通过优势加权回归迭代优化LLM策略，无需训练额外的价值网络（Critic）。
3. 实验验证：
   • 在1D Key-Door环境中，RICL估计优势函数的样本效率比传统蒙特卡洛方法高100倍。
   • 在4个BabyAI任务（goto、pickup等）中，RICOL的样本效率显著优于PPO（10M/3B）、Reflexion等基线方法，仅需1/10~1/50的环境交互步数即可达到相当性能，且在稀疏奖励场景中表现稳定。
4. 局限性：仅支持离散有限动作空间，需枚举所有动作计算KL散度（未来将探索动作采样替代方案）。