AI专栏 | 告别人工写脚本！多模态大模型驱动携程UI自动化测试迈入“描述即生成”阶段

作者简介

Jessi Peng，携程资深后端开发工程师，关注AI技术在测试领域的应用。

团队热招岗位：测试开发工程师、Java开发工程师、前端开发工程师

一、引言    

在传统的UI自动化测试流程中，测试人员需要构建完整的开发环境，包括Python运行环境、PyCharm集成开发环境、自动化测试框架等工具链的配置与部署。在用例编写过程中，测试人员必须通过人工方式精确定位目标UI元素，并基于自动化框架封装的底层方法，手工编写测试代码。

这种传统模式不仅技术门槛较高，而且在面对复杂的用户界面时，元素定位的准确性和代码编写的效率都难以得到有效保障，导致整个测试用例开发过程极为繁琐、耗时且容易出错。

近年来，大模型在自然语言理解、推理规划等方面展现出了令人瞩目的能力。特别是多模态大模型的快速发展，为UI自动化测试领域带来了新的技术机遇。多模态大模型具备同时处理文本、图像等多种数据模态的能力，能够深度理解用户界面的视觉特征和结构信息，并结合自然语言描述进行智能推理。

基于这一技术趋势，本文提出了一种基于多模态大模型的UI自动化用例生成方法。该方法以页面截图、DOM树结构以及自然语言用例描述作为输入，充分利用多模态大模型的跨模态理解能力和逻辑推理能力，实现对UI元素的智能识别与定位，并自动生成可持续执行的UI自动化测试用例。这种方法有效突破了传统人工编写模式的技术壁垒，显著降低了UI自动化测试的实施成本和技术门槛。

二、UI自动化用例智能化生成技术演进

随着大模型能力的持续提升，UI自动化测试领域正经历着从传统规则驱动向智能化生成的重要转变。该项目在UI自动化测试实践中，基于不同阶段大模型技术的发展水平，进行了系统性的技术探索与迭代优化，形成了以下四个渐进式发展阶段：

第一阶段：基于文本属性的初步探索

在大模型技术发展的初期阶段，本研究采用大模型结合页面控件的文本属性信息和自然语言用例描述，实现UI自动化用例的自动生成。该阶段的核心技术路线是通过提取页面中各UI控件的可见文本属性（如按钮文本、标签内容、提示信息等），构建基于文本特征的元素定位策略。

然而，该方法存在显著的技术局限性：首先，完全依赖文本属性的元素定位方式在面对动态内容变化时表现出较差的鲁棒性，导致生成的测试用例在后续执行过程中稳定性不足；其次，对于图标类按钮、图片链接等缺乏明确文本描述的UI控件，该方法无法实现有效的元素识别与定位，严重限制了测试用例的覆盖范围和适用性。

第二阶段：基于唯一标识-控件ID的规范化方案

为了解决第一阶段中文本属性依赖性过强的问题，本研究在第二阶段引入了基于唯一标识符（ID）的元素定位机制。通过为页面中的每个UI控件分配唯