基于用户特征的自适应人机交互

在交互任务期间对人类特征和能力的测量与分类

摘要

本文探讨了为先进的工业生产设备设计自适应交互系统的必要性。现代生产系统已变得高度复杂，并包含许多辅助功能，这使得技能较低的人类操作员难以与其进行有效交互。在此背景下，通过根据用户的特征来调整机器及其操作员界面的行为，可以实现更有效的交互过程，从而对制造效率和用户满意度产生积极影响。

为此，关键在于理解哪些用户能力会影响交互过程，因而需要对其进行测量以提供适当的适应性调整。基于这一思路，本文识别出若干用户群体，这些用户尽管在个体能力和特征上存在差异，但在与复杂生产系统交互时具有共同的需求和反应模式。因此，我们定义了具有相同适应性需求的用户聚类。随后，可基于这些用户群组制定适应规则，而非针对特定个体用户的具体需求进行调整。

关键词 : 人机交互, 用户画像, 以用户为中心的交互, humanfactors

1 引言

在过去十年中，由于市场需求和技术进步，现代制造和生产系统变得日益复杂。对快速和柔性生产的需求促使人们开发辅助性机器功能，例如故障诊断和快速恢复、工艺参数微调，以及快速重新配置机器参数以适应生产变化。

尽管技术进步已使大多数操作实现了自动化，但人工操作员的存在仍然至关重要；他们的角色已从直接操作转变为监督系统，并在出现问题时采取适当的行动。因此，现代生产系统的大部分复杂性都转移到了操作人员身上，他们最终对生产负责。此外，即使操作人员未获得有关过程及其历史状态的足够信息来做出正确决策，他们往往仍需承担责任 [1]。换句话说，复杂生产系统意味着操作员必须应对复杂的交互动态。

通过人机界面（HMI）实现对机器的控制、编程和监控。这些界面会对生产性能产生重大影响，因为它们是操作员获取机器及工厂当前状态正确态势感知的主要途径[2, 3]。文献中提出了多种方法，为开发人机界面提供了指南，明确考虑了用户感知信息、处理数据和采取行动的方式[4]。然而，通常情况下，人机界面是静态的，不会根据当前用户状态的实时功能而改变其行为[5]。这带来两方面的影响：一方面，如果用户在工作过程中其特征发生变化，人机界面不会相应调整；例如，当用户变得紧张或疲劳时，人机界面不会提供任何简化或适应性变化。另一方面，大多数情况下，并未针对不同用户的特征考虑了用户档案：这意味着不会根据经验水平不同的用户来区分启用的功能。即使需要操作员登录，通常也仅用于跟踪操作员活动。操作人员的不同特征未被加以区分，尽管这些特征会影响交互过程。例如，考虑存在学习障碍或认知能力受限的操作人员与具有丰富工作经验的专家级操作员之间的差异。不可避免的是，为他们使用相同的人机界面是低效的，因为他们在交互过程中有不同的需求：前者需要支持和指导，而后者则受益于通过人机界面快速导航、宏命令以及定制功能。因此，如果机器在与人工操作员及其人机界面交互时能够根据用户的特征进行自适应调整，那么整个交互过程将更加高效，从而对制造效率和用户满意度产生积极影响[6]。

在这方面，自适应自动化已被考虑 [7, 8]。根据这一设计范式，自动化级别应根据操作使用期间的情境需求而变化，如 [9–11] 中所提出的。自适应用户界面能够改变信息的呈现方式，通过自适应人机界面将环境和用户纳入被监控系统，仅向用户提供相关信息。

自适应用户界面已在不同领域中得到开发和应用，例如汽车领域[12–14],航空领域[15]以及智能手机和手持设备[16]。然而，关于为复杂工业系统开发自适应人机界面的研究，目前仅有少量局部尝试和初步成果被报道 [8, 17]。在[6]中，我们最近提出了一种集成化的方法论途径，称为M测量、A调整和T教授（MATE），该方法旨在设计复杂的交互系统（无论是自动机器还是机器人），能够测量当前操作员状态，并相应地调整交互方式，或教授缺失的能力。

自适应交互系统的设计涉及两个开放性问题：1. 如何测量用户的特征和能力：(a) 哪些参数能够反映与交互相关的用户能力 h 复杂系统：具体而言，需要监测哪些关键参数以减少负面交互体验；（b）有哪些测量技术可用，同时考虑环境、隐私、移动自由度需求以及防护装备的限制 在操作机器时需要佩戴的设备等；2. 如何根据测量到的能力最优地调整交互。

本文属于问题(1a)的范畴。具体而言，在[18],中已对相关能力及待测量的相关参数进行了初步分析，相关内容将在第2.1小节中予以回顾。关于测量技术的问题已在 [6],中部分讨论，其中考虑了不同的测量方案，这些内容将在本文的第2.2小节中加以回顾。

关于问题（2），我们指的是可以通过根据测得的用户特征调整系统行为和/或用户界面来定制交互。一方面，仅举几个例子，可以通过改变机器的工作模式（从手动到自动，或从灵活生产切换到批量生产）以及在机器与人类操作员之间动态分配任务以实现岗位轮换，从而适应过程。另一方面，人机界面设计在此方面的目标是找到最符合用户特征的适应和支持规则。虽然可以定义一些通用方法，但这些规则通常需要结合具体的应用场景来确定。一般来说，在程序性任务的情况下，可以通过提供不同程度的指导来使交互适应用户的技能水平：例如，可在人机界面上显示待执行活动列表的相关信息，从而避免错误选择。在出现故障或系统故障的情况下，应根据用户的认知状态调整向其呈现的报警数量和类型。例如，如果通过用户测量数据发现用户在交互中存在困难，则应隐藏低优先级报警（即表示非关键问题的报警），以便让用户专注于高优先级报警，这些报警代表了不可忽视的关键情况。

1.1 本文的贡献与组织结构

在[18]和[6],中讨论的基础上，本文旨在识别出一些用户群体，这些用户尽管个体能力和特征不同，但在与复杂系统交互时具有共同的需求和响应。因此，这一洞察将有助于定义用户群组，进而为这些群组制定适应规则 （问题(2)）。一方面，定义适应性为用户群组定义规则比为每个单独用户定义规则更容易实现；另一方面，这种群组的划分方式确保了针对用户群组的规则能够在与复杂系统的交互过程中满足任何单个用户的需求。

如图1所示，我们提出的工作流程是：在用户使用系统期间（或之前），测量影响交互的特征和能力。通过本文所进行的评估，可以判断操作员当前是否在交互任务中遇到困难，以及是否需要提供支持。因此，可确定其所属的聚类，并据此选择对系统行为的最佳适应性调整方案以提供支持。无论采用何种适应性调整，其目标都是在交互过程中支持用户并缓解其困难。尽管实现适应性的具体方法不在本文讨论范围内，但值得简要提及的是，最有可能被调整的部分是用户界面（例如，隐藏复杂功能或为报警提供说明和操作指引），但也可能改变机器的行为，例如通过切换到批量生产来提高其自主性。

本文的结构如下：在第2节中，讨论了如何测量用户特征与能力的问题（问题(1)），并具体参考了问题(1a)和问题(1b)。接着，在第3节中分析了用户特征与能力对人机交互的影响，并在第4节中推导出用户群组。最后，第5节给出了若干结论性评述。

2 人类能力的测量

在本节中，我们简要回顾了测量用户特征和能力的可能方法（问题(1)）。特别是，在2.1小节中，针对问题(1a)，介绍了与复杂工业系统交互相关的用户特征概览。其中那些通过为工作人员提供特定支持便可降低其对交互影响的特征，将在第3节中被选出，并在其中分析它们对交互的影响。在第2.2小节中，我们讨论了一种可能的测量方法（问题(1b)）。

2.1 交互过程中相关的人类特征

已在[18]中对影响与社会技术系统交互的人类特征和能力进行了广泛分析。其中，人机交互被视为一种信息性工作，用户首先通过人机界面获取关于机器当前状态和工作进展的信息；其次，在做出决策后需要准备相应的行动；最后，通过向人机界面输入信息来触发机器动作。这些过程基本上可归结为三个信息处理阶段：感知、认知和行动[18]。

此外，信息过程在很大程度上依赖于个人的个人特征。根据[19],，这些特征被分为四类：构成性特征，即在生命周期内无法改变的参数；倾向性特征，即在生命周期内可以改变但不能直接施加影响的特征；资格与能力，即可以通过主观意愿加以影响的后天获得的能力；以及情境特征，这类特征变化最大，因为它们取决于当前所处的情境。这些能力如图2所示。随后，它们进一步被细分为可用于量化这些能力的参数和属性。

在[18]中可以找到参数和属性的详尽列表以及验证方法。通过研究三个具有代表性的生产用例（木工机械、机器人单元、用于灌装与贴标的工业装置），我们分析了用户属性的重要性，并通过两两比较对其进行了排序。我们发现认知属性 tends to be estimated with the highest values, since modern production

机器需要长时间的高度集中和注意力，以及经验，例如以事实知识形式存在的经验。然而，研究结果也清楚地表明，不同用例之间的差异性较大，这说明制定统一的行业标准存在困难。此外，研究结果还显示，对感知属性（如视觉能力）的支持需求往往被认为是最不重要的。欧洲标准已经考虑了这些参数中的大部分。根据这些结果，针对自适应人机界面的人类能力测量应重点关注认知，同时也需考虑特定用例需求。

2.2 测量方法

为了收集有关用户特征和能力的信息，需要考虑不同的测量技术。文献[20],提出的一个通用方案考虑了三种不同类型的测量： 1. 先验测量：它们提供关于用户一般特征的评估工具。这是一种离线评估，包括涉及人口统计学问题的问卷，或针对感知、认知或运动能力的测试。此外，可通过提问来查询技能和体质特征。2. 实时生理测量：这些是用于实时测量导致心理负荷应激的生理指标的在线评估工具，例如瞳孔直径、眨眼频率、皮肤电导、脑部活动、体温、激素平衡和心率。它们可用于测量图2中列出的情境特征。3. 实时绩效测量：它们指的是绩效指标，例如决策时间、任务执行步骤、错误和冗余。

测量类型	可测量的能力
先验测量	年龄、教育程度、计算机技能、损伤
实时生理测量	心理负荷、疲劳、应激、动机、情绪
实时绩效测量	决策时间、任务执行步骤、错误、冗余

表1 报告了三种测量类型如何支持对图2中确定的人类特征和能力的测量。特别是，先验测量与实时测量之间的主要区别在于，前者用于评估变化非常缓慢或甚至从不变化的用户特征，而后者则涉及与交互会话持续时间相近的时间跨度。

3 用户特征对交互的影响

接下来，从图2中报告的能力和特征出发，我们选择那些测量值可能给与工业复杂系统的交互带来困难的特征。在这方面，例如，工人文化未被考虑在内，因为拥有某种特定文化而非另一种文化虽然会影响交互（例如，阅读方向或图标含义可能发生变化），但并不会在交互中引入困难：阿拉伯工人需要人机界面按从右到左的方向设计，欧洲人则需要从左到右的方向。只要人机界面的设计考虑到不同文化的特定需求，就不会在交互中造成需要额外支持的困难。相反，工人年龄、教育程度以及下文讨论的其他参数会使交互变得复杂，并要求系统提供额外支持。

3.1 先验测量

不随时间变化的静态用户属性包括：– 年龄，– 教育程度，– 计算机技能，– 损伤。

这些属性代表体质特征（年龄和损伤）或与所学能力相关的知识（教育程度和计算机技能）。

接下来将详细分析它们在实现用户群组时对人机交互所引入的困难程度的影响。

3.1.1 年龄

关于年龄，自适应界面应解决阻碍老年人获得可及性工作条件的交互障碍。人机交互主要由信息性工作组成，而随着年龄增长，身体状况会发生多种变化，这些变化是人类信息处理的关键影响因素。一般来说，信息过程可分为感知、认知和行动三个阶段。信息通过感觉器官接收，进一步加工形成决策，并转化为例如言语或运动行为。与年龄相关的变化涉及信息处理的各个阶段。例如，视觉、听觉和触觉感知能力下降，记忆功能发生变化，或者活动能力变差以及精细运动技能减退导致力量或精确度不足。表2列出了来自[21, 22]的人机交互中相关 的年龄变化。

具体而言，根据文献，导致人们能力显著受损的身体状况核心变化主要发生在两个时期：– 在30至40岁时，听觉感知、触觉感知、流体智力和肌肉力量开始下降；– 在50至60岁时，视觉感知、听觉频率感知和振动感知、记忆和学习能力恶化，且上肢的活动能力受到损害。因此，针对老龄化引起的人机交互困难，应考虑对交互进行不同方式的适应性调整，如表3所示。

年龄相关变化	感知	认知	行动
视觉感知下降	需要更大字体、更高对比度	信息处理速度减慢	-
听觉感知下降	需要更大音量、更低频率	-	-
触觉感知下降	需要更强反馈	-	操作精度下降
记忆功能变化	-	需要更多提示、简化流程	-
活动能力变差	-	-	需要更少体力操作

表2: 因年龄增长引起的身体状况变化。

年龄段	困难程度	适应建议
<30岁	低	标准界面
30-40岁	中等	增加提示，适度简化
50-60岁	高	显著简化，增大字体，增强反馈
>60岁	极高	全面简化，语音辅助，大幅增强反馈

表3: 因年龄增长引起的困难程度。

3.1.2 教育程度

用户的教育程度可以通过国际教育标准分类（ISCED） [51],进行标准化评估，ISCED 是由联合国教科文组织建立的用于分类和报告跨国可比教育统计数据的标准框架。

联合国教育、科学及文化组织（UNESCO）。ISCED 提供了九个教育水平，从对应于学前教育水平的0级到描述高等教育水平（例如博士学位）的8级。表4 报告了 ISCED 教育水平的简要说明；更多细节见附录，并可在 [51] 中找到。

由于机器操作员通常只接受过基础教育水平的教育，且不要求具备任何高级研究教育程度，因此与人机交互相关的只是一部分教育水平。在表5中，我们报告了如何教育程度会影响交互，使得受教育程度较低的工人更难进行交互。

ISCED 级别	教育水平
0	学前教育
1	初等教育
2	初级中等教育
3	高级中等教育
4	中等后非高等教育
5	短期高等教育
6	学士或同等水平
7	硕士或同等水平
8	博士或同等水平

表4：由ISCED确定的标准教育水平，从[51]中提取。

教育水平 (ISCED)	困难程度	适应建议
≤2	高	使用图形化界面，减少文字，提供语音指导
3-4	中等	提供清晰的文字说明，简化术语
≥5	低	标准界面，可提供高级选项

表5：与教育程度相关的困难程度

3.1.3 计算机技能

还应考虑工人的计算机技能，以避免计算机化系统的使用成为具有丰富当前任务经验的工人提高效率的障碍。例如，一些通常为老年人的工人，虽然在任务方面经验丰富，但计算机文盲程度低。通过提供适当的计算机使用辅助，例如使用隐喻，可以充分利用他们的知识。

根据经济合作与发展组织的国际研究，[52],计算机技能可以分为四个级别，如表6所列。不同级别的详细描述见附录。表7报告了用户计算机技能的不同级别如何使与复杂技术系统的交互变得更加困难。

计算机技能水平	描述
低于1级	非常低的专业水平
1级	低水平专业技能
2级	中等水平专业技能
3级	高水平专业技能

表6：计算机技能水平。

计算机技能水平	困难程度	适应建议
低于1级	极高	图形化界面，逐步引导，语音辅助
1级	高	简化界面，提供帮助按钮
2级	中等	标准界面，提供可选帮助
3级	低	标准界面，提供高级功能

表7：与计算机技能相关的困难程度 .

3.1.4 残障

全面分类用户可能存在的损伤是不可能的，因为这些损伤由不可预测的情况决定，尤其是身体方面的残障。然而，不难理解的是，损伤会严重影响交互，使其变得更加困难，并需要系统提供支持。

交互中引入的困难程度取决于与交互任务相关的损伤类型及其严重程度。对于不同类型的可能损伤，无法建立其对交互影响的序数关系：换句话说，不能断定某种损伤比另一种损伤在交互中引入更大的困难，因为这取决于具体任务、环境以及损伤的严重程度。例如，在嘈杂的工厂中，操作人员需要佩戴防护耳罩，或在经常使用声音警报的工厂中，耳聋对交互的影响有很大差异。此外，相同严重程度的不同损伤对交互的影响也各不相同。在表8中，我们列出了上述一些最常见损伤如何影响用户能力的情况。它们对交互的影响需要逐案考虑。

损伤类型	影响的能力	交互困难
视力障碍	感知	难以阅读屏幕信息
听力障碍	感知	难以接收声音警报
运动障碍	行动	难以操作控制设备
认知障碍	认知	难以处理复杂信息

表8: 不同损伤引起的困难类型。

3.2 实时生理测量

交互还受到艰苦情境条件的影响，例如嘈杂环境、紧张的日程安排、对失业的恐惧以及主管在场带来的心理压力[6]。这些因素会引起精神疲劳，使交互效率降低，并加剧错误风险以及某些任务执行速度的减慢[53]。根据操作员的实际负荷水平，对系统行为进行适应性调整有助于减轻用户应激，并限制生产效率的下降。这可以通过调整用户界面和/或过程来实现，即机器的工作模式以及操作员与机器之间的任务分配。

心理负荷可以通过监测生理反应来评估。关于这方面的大量调查可以在[53, 54]中找到。特别是，实时生理测量包括对用户基线状态的初始记录，该记录作为测量量的参考。然后，在交互任务期间记录生理参数。相对于用户会话前的状态，估计用户情境状态的变化（即应激、疲劳、动机和情绪）。换句话说，该基线记录考虑了用户状态的会话前变异性。

表9报告了心理负荷如何增加交互复杂性。该表的意义在于所考虑的测量技术能够区分不同的心理负荷等级。在表9中，我们考虑了一个相当先进的案例，可以区分四个不同等级的心理负荷[54]。

心理负荷等级	困难程度	适应建议
低	低	标准界面
中等	中等	提供额外提示
高	高	简化界面，突出关键信息
极高	极高	最大限度简化，仅显示关键警报

表9: 与心理负荷相关的困难程度。

经验等级	描述
新手	刚入职，缺乏经验
中级	有一定经验，但仍需指导
专家	经验丰富，能独立解决问题

表10： 操作员经验等级

经验等级	困难程度	适应建议
新手	高	详细指导，逐步引导
中级	中等	提供可选帮助
专家	低	标准界面，提供高级功能

表11: 与工作经验相关的困难程度

3.3 实时性能测量

最后，还应结合操作员的任务表现来选择最佳用户画像。该信息可用于构建每位操作员的结构化知识图谱，例如关于其培训进展的信息。此外，根据操作员的经验程度，通过人机界面自适应为其提供支持将有益于用户，而经验程度可从执行时间、步骤、错误和冗余等绩效指标中得出。操作员的经验程度可从表10中获取。

最终，通过监控与执行性能相关的任务参数，可以跟踪用户的经验，并在用户无法高效完成任务时提供适当支持。表11报告了操作员的经验与交互复杂性之间的关系。

4 用户群组

由于不同用户的特征和能力及其对与复杂人机系统交互影响之间的关系已在前一节中定义，因此可以推导出用户群组。具体而言，这种聚类旨在确定不同用户特征的哪些实例会导致交互中的相同难度水平。换句话说，同一群组中的用户在交互过程中会遇到相同的困难，因此具有相同的支持需求，尽管他们的特征和能力各不相同。

此类群组的优势在于，可以为任何用户提供定制化的交互体验，而调整系统行为（例如简化任务）或提供额外支持（例如逐步引导程序）的规则仅需针对少数用户群组进行定义。

根据先验测量（用于衡量在交互过程中基本不会改变的恒定用户特征）与实时测量（用于衡量依赖于当前交互的用户特征）之间的区别，操作员所属的聚类可能在交互过程中发生变化。换句话说，应区分静态聚类与动态聚类。静态聚类由先验测量得出，定义了人机交互在任务开始时的状态。在交互过程中，如果实时生理和性能测量显示用户遇到了初始静态聚类未预见到的额外困难，则必须为该用户动态选择一个新的、更合适的聚类。

如果用户的测量特征和能力符合某个聚类的定义，则该用户属于该聚类。当用户的特征分布在多个聚类中时（例如，年龄为< 30岁且存在高度认知损伤），应选择表示需要更高支持的聚类（即在此示例中为聚类3）。此外，基于先验测量得出的所需支持量，只能通过实时测量进一步增加：换句话说，如果实时测量表明需要较低的支持，与当前集群相比，如果情况没有改善，则不应进行更新。只有当实时测量的结果揭示了交互过程中存在额外困难，因而需要进一步支持时，才应考虑其实时测量结果。

聚类编号	先验特征	实时特征	支持需求等级	适应策略
聚类1	年龄<30岁，教育程度≥3，计算机技能≥2级，无损伤	心理负荷低，绩效良好	低	标准界面，提供高级功能和快捷操作
聚类2	年龄30-60岁，教育程度2-3级，计算机技能1-2级，轻微损伤	心理负荷中等，绩效稳定	中等	界面适度简化，提供可选帮助和提示
聚类3	年龄>50岁，教育程度≤2级，计算机技能<1级，轻度认知障碍	心理负荷高，绩效波动或错误增多	高	显著简化界面，提供逐步引导、语音辅助和增强反馈
聚类4	任意年龄，任意教育背景，任意技能水平	心理负荷极高，绩效显著下降	极高	最大限度简化，仅显示关键警报和操作，暂停非必要功能

表12 : 用户群组：具有相同交互困难的用户的适应性和支持水平摘要。

5 结论

本文提出了一种用于指导复杂工业机械自适应界面设计的方法，适用于具备不同能力的各类用户。MATE方法（M测量、A适应和T教授）通过调整交互方式并对必要的技能和专业知识提供额外培训，以应对特定的用户能力。MATE系统的目标是通过降低由人机界面引起的压力，从而减少个体负荷并改善交互，最终提高过程生产率。

自适应交互系统的实现需要对可能导致人机交互障碍的相关用户能力进行分类。为此，基于对用户群体及其需求的分析，我们识别出若干在交互过程中可能引发交互系统使用困难的用户属性，因此需要根据用户特征进行适应性调整。基于此，我们构建了用户群组，以归纳多个用户的相似属性，例如针对感知、认知或运动能力变化的年龄区间。然而，在聚类过程中，并非所有用户的限制都会被单独考虑。尽管如此，在此情境下为每位用户单独考虑属性并不可行，因为系统的定制化程度越高，其在实际工作环境中的可行性就越低。此外，可根据聚类层级规范制定具体的适应性规则。

作为未来工作，我们目前正在研究用户不同特征和能力的组合。我们的想法是，根据任务确定哪些特征对交互更为重要，因此在选择最佳适应水平时应给予更高权重。具体而言，这对于具有适用于不同集群特征的用户非常有用，从而需要不同的适应水平。为此，用户的集群将通过不同特征的加权和来确定。权重取决于用户必须执行的任务类型。

此外，研究用户对其自身状态的主观报告的情感倾向也将是有趣的，除了第2.2小节中讨论的测量方法进行的客观评估之外。