Large Language Model-Brained GUI Agents: A Survey

本文是LLM系列文章，针对《Large Language Model-Brained GUI Agents: A Survey》的翻译。

摘要

图形用户界面 (GUI) 长期以来一直是人机交互的核心，提供了一种直观且视觉驱动的方式来访问数字系统并与之交互。传统上，自动化 GUI 交互依赖于基于脚本或基于规则的方法，这种方法虽然对固定工作流程有效，但缺乏动态、实际应用程序所需的灵活性和适应性。大型语言模型 (LLM)，特别是多模态模型的出现，开创了 GUI 自动化的新时代。他们在自然语言理解、代码生成、任务泛化和视觉处理方面表现出了卓越的能力。这为新一代“LLM 大脑”GUI 代理铺平了道路，能够解释复杂的 GUI 元素并根据自然语言指令自主执行操作。这些代理代表了一种范式转变，使用户能够通过简单的对话命令执行复杂的多步骤任务。他们的应用程序涵盖网络导航、移动应用程序交互和桌面自动化，提供变革性的用户体验，彻底改变个人与软件的交互方式。这个新兴领域正在迅速发展，在研究和工业方面都取得了重大进展。
为了对这一趋势有一个结构化的理解，本文对 LLM 大脑的 GUI 代理进行了全面的调查，探讨了它们的历史演变、核心组件和先进技术。我们解决关键的研究问题，例如现有的 GUI 代理框架、用于训练专门 GUI 代理的数据的收集和利用、为 GUI 任务量身定制的大型动作模型的开发，以及评估其有效性所需的评估指标和基准。此外，我们还研究了由