46、从图形用户界面提取小部件描述

从图形用户界面提取小部件描述

1. 引言

图形用户界面（GUI）不仅是用户与应用程序交互的重要途径，还蕴含着关于应用程序所处理数据和功能的丰富信息。然而，这些信息往往嵌入在小部件中，难以被自动系统获取。近年来，科学界越来越关注从界面中提取信息，以理解应用程序提供的数据和功能。这不仅在Web应用中具有重要意义，在桌面应用中同样如此。

自动测试用例生成技术在基于GUI的桌面应用中存在一个关键限制，即缺乏识别和生成有用数据值的机制。如果能够识别可以输入到GUI中的正确数据，将克服这一限制，提高测试用例生成的有效性。此外，自动提取桌面应用中的数据和功能信息，还可以实现对需求合规性的自动检查，并且在逆向工程和工具集成等领域也有广泛的应用前景。

2. GUI设计原则

设计易于使用和用户友好的界面是多年来的研究课题，如今有许多成熟的标准、指南和实践可帮助开发者设计出优秀的GUI。

2.1 小部件分类

根据相关分类法，小部件可分为三类：
- 动作小部件 ：提供对程序功能的访问，例如按钮。
- 静态小部件 ：用于提高GUI的可理解性和可用性，但不用于直接交互，如标签。
- 数据小部件 ：用于显示或接受数据，例如文本区域。

在本研究中，重点关注静态和数据小部件，并进一步将静态小部件分为描述性小部件和容器小部件。描述性小部件显示文本信息，帮助用户理解如何使用动作和数据小部件；容器小部件用于对相关小部件进行分组。

2.2 设计原则及其对算法的影响