12、用户界面日志的自动化分割技术解析

用户界面日志的自动化分割技术解析

1. 引言

机器人流程自动化（RPA）借助软件机器人来模拟和复制人类在应用程序用户界面（UI）上执行的高度常规任务。软件机器人通过可执行脚本对与计算机系统的细粒度交互序列进行编码，例如打开文件、选择表单字段、复制粘贴数据等。商业RPA工具能以记录 - 回放的方式自动化各种常规任务。然而，当前识别常规任务步骤的方法，如访谈、演练和详细观察工人日常工作，存在耗时且易出错的问题。虽然有方法能从UI日志中自动提取要自动化的常规步骤，但在处理记录多个常规任务且其操作混合的UI日志时，自动识别属于特定常规任务的用户操作仍是一项挑战，这一挑战被称为分割。

2. 运行示例

以罗马大学计算机、控制与管理工程系（DIAG）的实际场景为例，教授、研究人员和博士生需填写旅行授权申请表。申请人要填写Excel电子表格，提供个人和旅行相关信息，然后通过电子邮件发送给行政办公室员工。员工将电子表格中的数据逐行复制到专用的Google表单中，完成后提交到内部数据库。若申请人声明使用私家车旅行，还需填写一个简单的网络表单以激活特殊保险，员工可批准或拒绝该请求，并通过电子邮件通知申请人。此过程涉及两个主要常规任务（R1和R2），这些常规任务适合用RPA工具自动化，但从UI日志中自动识别它们具有挑战性，因为用户操作可能分散、交错，且可能被多个常规任务共享。

3. 预备知识

• 作为Petri网的交互模型 ：研究文献中有多种表示人机对话的符号，可分为图表和文本两类。为保证模型的表达能力和可理解性的良好平衡，采用Petri网来表示交互模型。Petri网是一个有向图，包含节点集P（称为位置）和转