GUI-R1项目中的动作成功率(SR)指标计算优化探讨

GUI-R1项目中的动作成功率(SR)指标计算优化探讨

GUI-R1 项目地址: https://gitcode.com/gh_mirrors/gu/GUI-R1

在移动应用自动化测试领域，GUI-R1项目作为一个开源的GUI自动化框架，其评估指标的准确性直接影响着对系统性能的判断。近期社区发现了一个关于动作成功率(Success Rate, SR)计算的重要问题，值得深入探讨。

问题背景

在GUI-R1的评估模块(eval_omni.py)中，计算完整步骤命中率(full_step_hit)和完整步骤成功率(full_step)时，系统仅考虑了grounding类和text类的动作。这种计算方式会导致android_control中的等待(wait)、返回(press_back)等基础操作被排除在成功率统计之外。

技术影响分析

这种统计方式存在两个主要问题：

1. 动作覆盖不完整：移动应用自动化测试中，wait和press_back等操作是基础且频繁使用的动作类型。忽略这些动作会导致成功率指标不能真实反映系统整体性能。

2. 与行业标准不一致：参考OS-Atlas等主流框架的android_control评估实现，这些基础动作都应纳入SR计算范畴。

解决方案建议

正确的实现方式应该：

1. 扩展动作类型识别范围，将android_control模块中的所有有效动作纳入统计
2. 保持与行业标准框架的评估逻辑一致性
3. 对不同类型的动作可以设置不同的权重(如基础操作权重较低，复杂操作权重较高)

实际影响评估

虽然开发者反馈这些被忽略的动作在实际数据中出现频率较低，对整体指标影响有限，但从系统设计的严谨性角度考虑，仍然建议完善这一统计逻辑。完整的指标计算能够：

• 提供更准确的性能评估
• 便于不同系统间的横向比较
• 帮助开发者全面了解系统在各类型动作上的表现差异

总结

GUI自动化测试系统的评估指标设计需要全面考虑各种操作类型，避免因统计范围不完整导致的评估偏差。GUI-R1项目团队已经注意到这一问题，并计划在后续版本中改进评估逻辑，这将使项目的评估体系更加完善和可靠。

GUI-R1 项目地址: https://gitcode.com/gh_mirrors/gu/GUI-R1