60、搜索与救援中人机交互的高级命令

搜索与救援中人机交互的高级命令

在搜索与救援行动中，人类用户与现场作业的移动机器人之间的恰当交互至关重要。目前，在完全自主的机器人系统（可能使人类用户脱离控制循环）和完全远程操作的机器人系统（可能过度增加人类用户负担）之间，使用航点驱动机器人是主要的权衡方法。本文提出了一种介于完全自主和航点引导之间的中间级别交互方式，即人类用户可以向机器人发出高级命令。

1. 搜索与救援中的人机交互背景

在许多搜索与救援场景中，由于时间限制和救援受害者的重要性，人类用户与在恶劣环境中作业的移动机器人之间的交互至关重要。尽管近年来已经开发出一些用于搜索与救援的完全自主多机器人系统，但它们不太可能在实际场景中广泛应用，主要原因是人类用户往往会被排除在控制循环之外。因此，需要平衡自主和人类控制这两个部分。

当前大多数搜索与救援多机器人系统通过允许人类用户直接发出航点命令（用户指定目标位置，机器人自主规划路径到达）或低级远程操作命令来实现这种权衡。

2. 现有搜索与救援人机交互系统

系统名称	特点	交互级别
Steel系统	功能由独立模块执行，通过Machinetta框架连接，GUI以地图为中心，可同时与多个机器人交互	全自主（选择优先探索区域）、手动指定路径（设置航点）、远程操作
Hector项目	旨在开发完全自主的机器人系统，人类用户作为监督者，通过高级策略交互	全自主，人类可取消或覆盖系统决策
某系统	允许单个操作员控制一组机器人，在三个抽象级别交互	全自主（机器人间协调）、航点选择、远程操作
Team Michigan	由14个机器人和2个人类操作员组成，有丰富的反馈界面	全自主、半自主（分配目标点）、远程操作

从上述讨论可以看出，目前大多数系统在完全自主和航点引导之间缺乏中间级别。本文提出的方法有助于填补这一空白。

3. PoAReT多机器人系统

PoAReT系统是USARSim中模拟机器人的控制器，控制配备激光测距扫描仪、声纳和相机的移动平台（通常是Pioneer All Terrain P3AT）。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(构建环境地图):::process --> B(选择最方便的边界):::process
    B --> C(协调机器人分配到边界):::process
    D(检测受害者):::process --> E(与人类操作员通过GUI交互):::process
    F(基站进程):::process --> G(生成新机器人):::process
    G --> H(机器人进程):::process
    H --> I(运动控制):::process
    H --> J(路径规划):::process
    H --> K(SLAM):::process
    H --> L(探索):::process
    H --> M(协调):::process
    H --> N(受害者检测):::process

该系统的主要活动周期包括：
- 构建由线段组成的环境地图。
- 选择最方便到达的边界。
- 协调机器人分配到这些边界。

同时，系统根据机载相机返回的图像检测受害者，并通过GUI与人类操作员交互。

系统架构分为基站进程和移动机器人进程，它们通过无线模拟服务器（WSS）通信，采用距离向量路由协议传递消息。

机器人进程由多个模块组成，各模块功能如下：
- 运动控制模块 ：基于P3AT的运动模型，较为直接。
- 路径规划模块 ：使用Rapidly-exploring Random Tree（RRT）算法的变体，规划完全在已知空间内的路径。
- SLAM模块 ：采用基于特征的方法解决同时定位与地图构建问题，通过迭代最近线（ICL）算法对齐扫描和地图。
- 探索模块 ：使用多标准决策（MCDM）评估新的边界，以发现最大范围的环境，并调用协调模块分配机器人。
- 协调模块 ：采用基于市场的机制，通过拍卖将任务（边界）分配给机器人。
- 受害者检测模块 ：使用HSV颜色空间的皮肤检测器分析相机图像，并使用Viola - Jones算法分类是否有受害者，有则通知人类操作员。

4. PoAReT人机交互系统

PoAReT人机交互（HRI）系统允许单个人类操作员有效控制相对较大的机器人组。它通过混合主动方法减少操作员的工作量并提高其态势感知能力。一方面，操作员可以向机器人发出高级命令；另一方面，系统根据操作员的偏好、过去行为和情况参数过滤来自机器人的通知消息。

4.1 PoAReT GUI

PoAReT系统的GUI以地图为中心，模块化且窗口可完全重新配置。主要组件包括：
- 地图 ：位于左中心，合并机器人发送的局部线段地图并显示给操作员，可缩放、滚动和交互，操作员可通过点击地图发出命令和选择机器人。
- 消息管理器 ：位于左底部，接收机器人的内部状态信息和事件，如故障或受害者检测，HRI系统对数据分类后以消息形式呈现给操作员，重要通知会弹出窗口。
- 相机管理器 ：位于左顶部，始终显示机器人相机的压缩视频流。
- 选定机器人的相机视图 ：位于右顶部，显示选定机器人的全帧率和分辨率视频流。
- 选定机器人的信息 ：位于右中心，包括连接性、电池状态和内部模块激活情况。
- 远程操作 ：位于中心顶部，允许操作员直接控制选定机器人的移动。

4.2 高级命令

工作量和态势感知是影响人类操作员控制多机器人系统性能的两个主要因素。以往主要通过航点引导来平衡自主性和直接控制。本文引入了高级命令（HLCs），结合了机器人自主性的积极效果和让人类操作员参与控制循环的需求。

人类操作员可以通过PoAReT GUI的地图组件发出高级命令，包括指定探索的首选方向（向量α = (αx, αy)）和特定感兴趣的区域（点p = (px, py)）。这些命令会集成到机器人的探索策略中，机器人自主探索但遵循人类指令。

具体来说，首选方向α通过引入新的标准Dα(f, r)影响基于MCDM的探索策略，该标准评估边界f相对于机器人r的情况，向量r - fc与α方向越一致，Dα(f, r)值越小（越好），即Dα(f, r) = θ(α, r - fc)，其中θ(·, ·)返回两个向量方向之间的角度。感兴趣的区域通过引入新的标准Ap(f)影响MCDM，f越靠近p，Ap(f)值越小，即Ap(f) = d(p, fc)，其中d(·, ·)返回两点之间的欧几里得距离。这两个标准与其他标准合并，以评估边界f对机器人r的效用u(f, r)。

与航点引导相比，高级命令使人类操作员能够在更高的抽象级别控制机器人，同时不会像完全自主那样失去对单个机器人的控制。而且，本文的高级命令是针对单个机器人发出的，与某些系统为整个多机器人系统选择感兴趣区域的方法不同，并且“沿方向α探索”命令在其他系统中未被考虑。

搜索与救援中人机交互的高级命令

5. 高级命令的实验效果与优化

实验结果表明，使用高级命令能增加机器人探索的面积和发现的受害者数量，但同时也会增加用户的工作量，降低用户的态势感知能力，即用户难以全面了解系统的全局状态。

为了优化这一情况，研究人员发现对来自机器人的通知消息进行适当过滤是有效的方法。通过过滤，可以减少不必要的信息干扰，降低用户的认知负担，从而在保持高级命令对多机器人系统性能积极影响的同时，减轻用户的工作量。

以下是高级命令使用前后的效果对比表格：
|指标|使用高级命令前|使用高级命令后（未过滤消息）|使用高级命令后（过滤消息）|
| ---- | ---- | ---- | ---- |
|探索面积|较小|较大|较大|
|发现受害者数量|较少|较多|较多|
|用户工作量|较低|较高|适中|
|用户态势感知能力|较高|较低|较高|

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(发出高级命令):::process --> B(增加探索面积和发现受害者数量):::process
    A --> C(增加用户工作量):::process
    C --> D(降低用户态势感知能力):::process
    E(过滤通知消息):::process --> F(减轻用户工作量):::process
    F --> G(恢复用户态势感知能力):::process
    B --> H(保持积极效果):::process
    G --> H

6. 高级命令在搜索与救援中的应用优势

高级命令在搜索与救援场景中具有多方面的应用优势：
- 灵活性 ：人类操作员无需精确指定目标位置，只需给出大致的方向或区域，就能引导机器人进行探索，适应复杂多变的救援环境。
- 自主性与人类控制的平衡 ：既赋予了机器人一定的自主探索能力，又让人类操作员能够参与到控制循环中，避免了完全自主系统可能导致的人类用户脱离控制和完全远程操作系统带来的高负担问题。
- 可扩展性 ：基于MCDM框架，添加新的评估标准非常容易，可以根据不同的救援需求和场景特点，灵活调整机器人的探索策略。

7. 总结

在搜索与救援行动中，人机交互的有效性至关重要。本文提出的介于完全自主和航点引导之间的高级命令交互方式，为解决当前多机器人系统在搜索与救援应用中的问题提供了新的思路。通过实验和分析，我们发现高级命令能够提高机器人的探索效率和受害者发现率，但会带来用户工作量增加的问题。通过对通知消息进行过滤，可以有效优化这一情况，实现性能和用户体验的双赢。

PoAReT系统作为一个具体的实现案例，展示了高级命令在实际应用中的可行性和优势。其以地图为中心的GUI设计和模块化架构，为人类操作员提供了便捷的交互方式，同时各模块的协同工作保证了系统的高效运行。未来，随着技术的不断发展，高级命令在搜索与救援领域有望得到更广泛的应用和进一步的优化。

以下是高级命令在搜索与救援中的应用步骤总结：
1. 人类操作员通过PoAReT GUI的地图组件发出高级命令，指定探索的首选方向和感兴趣的区域。
2. 机器人将高级命令集成到基于MCDM的探索策略中，自主选择合适的边界进行探索。
3. 系统在探索过程中检测受害者，并通过GUI向操作员发送通知消息。
4. 对通知消息进行过滤，只保留重要信息，减轻操作员的工作量。
5. 操作员根据反馈信息，进一步调整高级命令，实现对机器人的有效控制。