Agent Learning via Early Experience

一、文章主要内容总结

1. 研究背景与问题

当前语言智能体（Language Agents）训练存在两大核心范式局限：

• 模仿学习（IL/SFT）：依赖专家标注数据，无需环境奖励但数据扩展性差，智能体无法通过与环境交互学习动作后果，难以泛化到未见过的场景，且高质量专家数据成本高。
• 强化学习（RL）：需环境提供可验证的奖励信号，虽能实现超人类性能（如AlphaGo），但现实场景中多数环境缺乏可靠奖励（如网页提交无反馈），且多轮交互任务存在长时序延迟，导致训练低效不稳定。

2. 核心解决方案：Early Experience（早期经验）范式

提出介于模仿学习与强化学习之间的“早期经验”范式，让智能体在无外部奖励的情况下，通过自主提出动作并收集后续状态，将这些“自身经验”转化为监督信号。其核心逻辑是：智能体的动作及对应的环境反馈（后续状态）本身可作为学习依据，无需依赖专家数据或外部奖励。

3. 两种具体实现策略

（1）隐式世界建模（Implicit World Modeling, IWM）

• 原理：将收集的“状态-动作-后续状态”三元组转化为预测任务，让智能体学习预测特定动作在当前状态下的后续状态，从而内化环境动态规律（如网