UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience

一、论文主要内容总结

研究背景与问题

随着多模态大语言模型（MLLM）的快速发展，自主移动 GUI（图形用户界面）智能体受到了越来越多的关注。然而，现有方法面临两大核心挑战：

1. 失败轨迹的低效学习：模型难以从失败经验中有效提取可用的学习信号。
2. 稀疏奖励下的信用分配模糊问题：在长时域 GUI 任务中，奖励信号稀疏，难以精确判断哪一步操作导致了成功或失败。

核心方案：UI-Voyager 两阶段自进化框架

UI-Voyager 提出了一个两阶段自进化训练流程：

第一阶段：拒绝微调（Rejection Fine-Tuning, RFT）

• 采用多轮拒绝采样机制，由先验策略生成轨迹，再通过基于规则的验证器过滤出高质量样本。
• 实现数据与模型的持续共同进化，无需人工标注，形成全自动闭环。
• 实验表明，直接从基础模型进行强化学习（RLVR）效率极低（约需 175 步才能达到一次 RFT 迭代的效果），证明了 RFT 作为"预热初始化"策略的重要性。

第二阶段：群体相对自蒸馏（Group Relative Self-Distillation,