商汤联合港中文提出GUI Agent SpiritSight！GUI定位导航新SOTA！

🌐 社群导航

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗 点击加入➡️【2-3月CCF投稿】交流群

数源AI 最新论文解读系列

论文名：SpiritSight Agent: Advanced GUI Agent with One Look

论文链接：https://arxiv.org/pdf/2503.03196

开源代码：https://huggingface.co/SenseLLM/SpiritSight-Agent-8B

导读

随着现代数字设备的发展，图形用户界面（Graphical User Interface，GUI）自动化一直是人们追求的目标。得益于大语言模型（Large Language Models，LLMs）的最新进展，人们构建了GUI智能体来协助用户与图形界面进行交互，这些智能体能够根据对环境的观察和用户的指令自动做出行动决策。

简介

图形用户界面（Graphical User Interface，GUI）代理在辅助人机交互、自动完成人类用户在数字设备上的导航方面展现出了惊人的能力。理想的GUI代理应具备高精度、低延迟以及对不同GUI平台的兼容性。近期基于视觉的方法通过利用先进的视觉语言模型（Vision Language Models，VLMs）展现出了潜力。虽然这些基于视觉的GUI代理总体上满足了兼容性和低延迟的要求，但由于它们在元素定位方面存在局限性，往往精度较低。为解决这一问题，我们提出了SpiritSight，这是一种基于视觉的端到端GUI代理，在各种GUI平台的GUI导航任务中表现出色。首先，我们使用可扩展的方法创建了一个名为GUI-Lasagne的多层次、大规模、高质量的GUI数据集，赋予了SpiritSight强大的GUI理解和定位能力。其次，我们引入了通用块解析（Universal Block Parsing，UBP）方法来解决动态高分辨率视觉输入中的歧义问题，进一步增强了SpiritSight定位GUI对象的能力。通过这些努力，SpiritSight代理在各种GUI基准测试中优于其他先进方法，证明了其在GUI导航任务中的卓越能力和兼容性。

图2. 我们三种规模（2B、8B、26B）的SpiritSight代理与各种先前方法在多模态Mind2Web基准测试中的平均步骤成功率比较。