OmniParser for Pure Vision Based GUI Agent

本文是LLM系列文章，针对《OmniParser for Pure Vision Based GUI Agent》的翻译。

摘要

最近大型视觉语言模型的成功表明，在推动代理系统在用户界面上运行方面具有巨大的潜力。然而，我们认为，由于缺乏一种强大的屏幕解析技术，如GPT-4V作为跨不同应用程序的多个操作系统上的通用代理，这种多模态模型在很大程度上被低估了，该技术能够：1）可靠地识别用户界面内的可交互图标，2）理解屏幕截图中各种元素的语义，并准确地将预期动作与屏幕上的相应区域相关联。为了填补这些空白，我们引入了OMNIPARSER，这是一种将用户界面截图解析为结构化元素的综合方法，显著增强了GPT-4V生成可以在界面相应区域准确定位的动作的能力。我们首先使用流行网页和图标描述数据集策划了一个可交互的图标检测数据集。这些数据集用于微调专门的模型：一个检测模型用于解析屏幕上的可交互区域，一个字幕模型用于提取检测到的元素的功能语义。OMNIPARSER显著提高了GPT-4V在ScreenSpot基准测试中的性能。在Mind2Web和AITW基准测试中，仅使用屏幕截图输入的OMNIPARSER优于需要屏幕截图之外的额外信息的GPT-4Vs基准。

1 引言

2 相关工作

3 方法

4 实验和结果

5 讨论

6 结论

在本报告中，我们提出了OMNIPARSER，这是一种仅限视觉的通用方法，可以将UI屏幕截图解析为结构化元素。OMNIPARSER包含两个微调模型：图标检测模型和功能描述模型。为了训