Large Language Model-Brained GUI Agents: A Survey

本文是LLM系列文章，针对《Large Language Model-Brained GUI Agents: A Survey》的翻译。

摘要

图形用户界面 (GUI) 长期以来一直是人机交互的核心，提供了一种直观且视觉驱动的方式来访问数字系统并与之交互。传统上，自动化 GUI 交互依赖于基于脚本或基于规则的方法，这种方法虽然对固定工作流程有效，但缺乏动态、实际应用程序所需的灵活性和适应性。大型语言模型 (LLM)，特别是多模态模型的出现，开创了 GUI 自动化的新时代。他们在自然语言理解、代码生成、任务泛化和视觉处理方面表现出了卓越的能力。这为新一代“LLM 大脑”GUI 代理铺平了道路，能够解释复杂的 GUI 元素并根据自然语言指令自主执行操作。这些代理代表了一种范式转变，使用户能够通过简单的对话命令执行复杂的多步骤任务。他们的应用程序涵盖网络导航、移动应用程序交互和桌面自动化，提供变革性的用户体验，彻底改变个人与软件的交互方式。这个新兴领域正在迅速发展，在研究和工业方面都取得了重大进展。
为了对这一趋势有一个结构化的理解，本文对 LLM 大脑的 GUI 代理进行了全面的调查，探讨了它们的历史演变、核心组件和先进技术。我们解决关键的研究问题，例如现有的 GUI 代理框架、用于训练专门 GUI 代理的数据的收集和利用、为 GUI 任务量身定制的大型动作模型的开发，以及评估其有效性所需的评估指标和基准。此外，我们还研究了由这些代理提供支持的新兴应用程序。通过详细的分析，这项调查确定了关键的研究差距，并概述了该领域未来发展的路线图。通过巩固基础知识和最先进的发展，这项工作旨在指导研究人员和从业者克服挑战并释放 LLM 大脑 GUI 智能体的全部潜力。我们预计这项调查将作为构建 LLM 支持的 GUI 代理的实用手册，并作为在这个快速发展的领域推进研究的明确参考。
本次调查中审查的论文集将在 GitHub 存储库上托管并