ClawGUI: A Unified Framework for Training, Evaluating, and Deploying GUI Agents

ClawGUI论文核心总结+指定章节中英对照

一、主要内容

ClawGUI是浙江大学REAL团队提出的开源统一框架，打通GUI智能体训练-评测-部署全生命周期，解决当前GUI Agent领域三大核心痛点：

1. 训练：在线RL环境不稳定、真机训练缺失、奖励稀疏
2. 评测：标准不统一、结果难复现、跨论文无法公平对比
3. 部署：模型难落地真机、缺乏用户友好入口与个性化能力

框架由三大模块紧密集成：

• ClawGUI‑RL：支持并行虚拟环境+真机的在线RL训练，用GiGPO+PRM实现密集步级奖励监督
• ClawGUI‑Eval：6大基准、11+模型的标准化三阶段评测，复现率95.8%
• ClawGUI‑Agent：跨Android/HarmonyOS/iOS、12+聊天平台部署，混合CLI‑GUI控制+持久个性化记忆

实验验证：端到端训练的ClawGUI‑2B在MobileWorld GUI‑Only达17.1%成功率，超同规模MAI‑UI‑2B基线6.0个百分点，优于更大模型如Qwen3‑VL‑32B、UI‑Venus‑72B。

二、核心创新点

1. 全链路统一框架：首次将GUI Agent的在线RL训练、标准化评测、真机部署整合为单一开源流水线，填补全栈基建空白
2. 真机兼容的RL基建：首个开源支持并行虚拟环境+真实物理设备的GUI Agent RL训练框架，解决环境漂移与崩溃问题
3. 密集奖励机制：二元结果奖励+PRM步级过程奖励，结合GiGPO分层优势估计，大幅缓解长程任务奖励稀疏
4. 高可复现评测：固定所有配置的推理‑判断‑指标三阶段 pipeline，6基准11+模型复现率95.8%，提供可复用推理结果
5. 量产级部署能力：跨三大移动OS、12+聊天平台，CLI‑GUI混合控制+持久个性化记忆，实现研究到用户的闭环

---

三、Abstract（中英对照）

GUI智能体通过视觉界面而非编程API驱动应用，以点击、滑动、按键与任意软件交互，覆盖基于CLI的智能体无法触及的长尾应用。该领域进展的瓶颈并非建模能力，而是缺乏连贯的全栈基础设施：在线强化学习训练受环境不稳定与封闭流程制约，不同研究的评估协议存在隐性偏差，训练好的智能体难以落地到真实设备的真实用户场景。本文提出ClawGUI，一个在单一框架内解决上述三大缺口的开源方案。ClawGUI‑RL提供首个开源GUI智能体强化学习基础设施，经验证可同时支持并行虚拟环境与真实物理设备，集成GiGPO与过程奖励模型（PRM）以实现密集步级监督。ClawGUI‑Eval在6个基准、11+模型上实施完全标准化的评估流程，对官方基线的复现率达95.8%。ClawGUI‑Agent通过12+聊天平台将训练好的智能体部署到Android、鸿蒙、iOS，采用CLI‑GUI混合控制与持久化个性化记忆。在该流水线中端到端训练的ClawGUI‑2B，在MobileWorld GUI‑Only任务上成功率达17.1%，优于同规模MAI‑UI‑2B基线6.0个百分点。

---

四、Introduction（中英对照）

图形用户界面（GUI）是人类与现代计算设备交互的通用载体。能够感知屏幕状态并执行点击、滑动、输入等底层界面操作的智能体，原则上可在无需专用API或后端访问的情况下操控任意设备上的任意应用。这种通用性使GUI智能体成为端到端数字自动化最受关注的方向之一，过去两年在定位、导航与在线强化学习（RL）方面进展迅速。

然而，构建高性能GUI智能体并非单纯的建模问题，而是全栈工程问题。实用的智能体必须在真实环境中训练、在可比条件下评测，并最终部署到真实设备让用户受益。现有研究在各环节孤立取得进展：GUI定位模型持续提升元素定位精度，导航智能体拓展任务时长，在线强化学习开始将策略质量推高至静态监督难以企及的水平。但将这些模块组装成可用流程时，衔接问题凸显。学界仍缺乏将训练、评测、部署融为一体的统一框架，这一缺失而非单一技术短板，是当前实用化进展的主要瓶颈。

我们明确了构成瓶颈的三大具体缺口：

1. 训练生态高度封闭：近期多项工作在虚拟环境中报告了优异的在线RL结果，但均未开源底层基建，外部研究者无法复现与拓展。即便有代码，也仅绑定模拟器沙箱，而真机训练（智能体最终运行环境）在开源文献中几乎空白。核心工程难点不在RL算法，而在环境管理：模拟器长期运行易异常，真机无法暴露系统级验证信号，长程GUI任务的奖励信号天然稀疏。

2. 评测标准严重错位：GUI基准看似简单，跨论文结果却难以直接对比。提示词格式、坐标归一化、图像分辨率、采样配置等都会使精度波动数个百分点，且这些选择常未公开。导致社区缺乏衡量真实进展的共享基线，ScreenSpot‑Pro上2%的提升可能来自 genuine 改进、有利提示或仅分辨率差异，读者无从判断。

3. 研究到用户的部署链路断裂：研究流程训练的智能体几乎无法落地到终端用户。近期工作探索基于CLI的智能体框架，虽通过结构化命令实现精准控制，但仅覆盖少量真实应用。而将训练好的GUI策略连接到真实硬件、通过用户日常使用的接口暴露、并保持持久个性化的系统，在开源生态中仍极度缺乏。缺少这一环节，GUI智能体的现实价值难以验证。

基于以上洞察，我们提出ClawGUI，一个在单一连贯系统中补齐三大缺口的开源框架。ClawGUI包含三大紧密集成模块：

• ClawGUI‑RL提供可扩展在线RL基建，支持基于Docker的并行安卓模拟器与真实物理设备，集成GiGPO与过程奖励模型（PRM）提供密集步级监督，缓解长程GUI任务结果奖励稀疏问题。
• ClawGUI‑Eval在6个基准、11+模型上实施严格三阶段流程，固定每个模型的所有评测选项，使结果可复现而非名义可比。
• ClawGUI‑Agent打通研究到部署的闭环，通过12+聊天平台将智能体部署到安卓、鸿蒙、iOS，采用CLI‑GUI混合控制策略，结合CLI精准性与GUI全覆盖性，并配备持久个性化记忆系统，使智能体随时间适配用户习惯。

为端到端验证框架，我们在ClawGUI‑RL流水线中完整训练ClawGUI‑2B。在MobileWorld GUI‑Only上，ClawGUI‑2B成功率（SR）达17.1%，远超同规模MAI‑UI‑2B基线（11.1%），也优于更大的未训练模型如Qwen3‑VL‑32B（11.9%）、UI‑Venus‑72B（16.4%）。同流水线中，将回合级GRPO替换为步级GiGPO带来2.6%提升（14.5%→17.1%），直接证实密集信用分配在GUI RL中的价值。评测方面，ClawGUI‑Eval对6基准11+模型已发表基线的复现率达95.8%。

---

五、Conclusion（中英对照）

本文提出ClawGUI，一个统一开源框架，将在线RL训练、标准化评测与真实设备部署整合为GUI智能体开发的单一连贯流水线。ClawGUI‑RL提供首个开源基础设施，经验证可支持大规模并行虚拟环境与真实物理设备训练，集成GiGPO与过程奖励模型实现密集步级奖励监督。ClawGUI‑Eval在6个基准、11+模型上建立可复现的评估标准，对官方基线复现率达95.8%。ClawGUI‑Agent打通研究到部署的闭环，通过12+聊天平台实现跨安卓、鸿蒙、iOS的自然语言驱动自动化，并配备个性化记忆系统。在该流水线中端到端训练的ClawGUI‑2B，在MobileWorld上成功率达17.1%，相对同规模基线提升54%，并超越规模更大的模型。我们期望ClawGUI为社区构建、评测与部署下一代GUI智能体提供基础。