2025_NIPS_GUI Exploration Lab: Enhancing Screen Navigation in Agents via Multi-Turn Reinforcement Le

一、文章主要内容总结

该研究聚焦于图形用户界面（GUI）智能体的屏幕导航能力提升，针对真实世界GUI环境复杂、封闭导致训练数据难以获取的问题，提出了一套完整的模拟环境与训练范式。

1. 核心问题：随着大型视觉语言模型（LVLMs）发展，GUI智能体的任务重心从单屏幕操作转向复杂屏幕导航，但真实GUI环境的专有性和复杂性阻碍了训练与评估，现有方法（如监督微调SFT）泛化能力有限，难以应对未见过的场景和多步交互。

2. 核心解决方案：

   • 提出GUI Exploration Lab（GE-Lab）：一款灵活的GUI导航模拟环境引擎，支持自定义屏幕、图标和导航图，提供完整的环境信息，可低成本生成轨迹数据，支持静态与交互式基准测试。
   • 建立三阶段训练范式：① 监督微调（SFT）：记忆基础导航知识，为后续训练奠定基础；② 单轮强化学习（ST-RL）：基于规则奖励优化单步动作，提升对未见过场景的泛化能力；③ 多轮强化学习（MT-RL）：通过交互式试错鼓励探索策略，减少对标注数据的依赖，进一步提升导航性能。

3. 实验验证：

   • 在GE-Lab的分布内（ID）、分布外（OOD）及交互式基准测试中，三阶段范式表现优于单一方法，MT-RL在交互式场景中成功率最高。
   • 真实世界验证：零样本迁移至真实GUI静态基准时，对未训练过的动作（如SCROLL、