
【导语:在长程Agentic学习中,基于结果的强化学习存在监督缺口。清华大学陶建华团队提出“自进化同策略框架”(SEED),能持续提升性能和样本效率,展现出对未见场景的鲁棒泛化能力,但也存在一些不足有待改进。】

在长程Agentic学习里,基于结果的强化学习有监督缺口,它只能判断任务成败,难以指出哪些中间观察、动作或工具调用应被强化。而清华大学陶建华团队及其合作者提出的“自进化同策略框架”(SEED),将已完成的同策略轨迹转化为训练时的事后技能,并将这些技能的行为效果蒸馏回策略模型中。

SEED有两个训练阶段。后见技能监督微调阶段,研究团队先收集基础策略的交互轨迹,由外部分析器将完整轨迹总结为后见技能,成功轨迹对应可复用策略或工作流,失败轨迹对应纠正或规避规则,这些轨迹 - 技能对用于微调模型。自进化同策略蒸馏阶段,当前策略模型既采样任务轨迹,也作为分析器提取可复用后见技能,SEED比较有无后见技能时模型对同一批动作的判断变化,转化为训练信号与GRPO一起优化。

研究团队在具身交互、网页导航和搜索问答三类长程任务上评估SEED,它在所有基准上表现均显著优于基于结果的强化学习和静态蒸馏方法。在基准测试表现上,相比GRPO,SEED在三个基准上均稳定提升,在ALFWorld上可提升45.9个百分点;内化技能优于上下文提示,自进化后见蒸馏优于静态自蒸馏。在训练动态与样本效率方面,SEED在训练早期成功率领先,平均回合长度下降更快,只使用60%训练数据表现就超使用完整数据训练的GRPO。在跨领域泛化能力与多模态扩展上,SEED在未见任务环境中展现较强泛化能力,在ALFWorld未见任务集上,将宏平均成功率从70.9%提高到86.2%,在视觉任务上也优于GRPO,平均成功率从77.0%提高到91.0%。

尽管SEED表现稳定,但仍有不足。在更复杂任务中的表现有待验证,如DeepPlanning、OdysseyArena等基准包含更长工作流,最终成功信号更稀疏。自进化机制有风险,行动器和分析器用同一套策略,可能把无效做法总结成可复用经验并强化。训练成本可能随任务复杂度上升而增加,不过SEED不会带来额外部署开销,未来可通过只分析关键轨迹、批量完成评分等方式降低训练成本。
编辑观点:SEED框架为交互式Agent处理长程任务带来新突破,性能和泛化能力提升显著,但在复杂任务适应性、自进化机制风险和训练成本方面需改进,未来发展值得关注。
757



被折叠的 条评论
为什么被折叠?



