11、深度学习驱动的人车跟随系统中用于手势识别的2D和3D姿态估计

深度学习驱动的人车跟随系统中用于手势识别的2D和3D姿态估计

1. 引言

在过去的几十年里，领导者 - 跟随者自主（LFA）系统持续发展。该系统能让单个或多个自动驾驶车辆在没有人类驾驶员的情况下跟随其他车辆。相关研究涵盖了数学模型的开发、模拟测试以及实际实验等多个方面，并且有证据表明LFA系统在水陆空三栖应用中也具有可行性。

不过，目前学术界对于全尺寸车辆的研究大多集中在车 - 车（VV）系统上，而对全尺寸自动驾驶车辆的人 - 车（HV）配置的LFA开发关注较少。虽然也有关于人 - 机器人（HR）跟随的研究以及一些商业应用，但这些主要聚焦于小型机器人配置，而非全尺寸车辆。

手势识别（GR）问题的解决需要一个分类装置来识别各种手势和身体姿势。和LFA一样，GR也有几十年的研究历史。早期，人们使用循环神经网络（RNN）来解决这个问题，后来则更多地采用卷积神经网络（CNN）。当代研究还建议结合多种神经网络结构来完成GR任务，有些研究使用生物传感器数据，还有些使用姿态估计（PE）。

此前，我们展示了一个LFA - HV系统的可行性。我们的全尺寸研究车辆ACTor 1配备了研究计算机和传感器，包括激光雷达和摄像头。通过机器人操作系统（ROS），我们编写节点来检测用户的高级命令，并将其转换为车辆的低级命令。在2021年的研究中，我们通过处理摄像头的视频流，识别佩戴ArUco标记的“领导者”，从而实现人类领导者引导ACTor 1。

而本次研究展示了一个不使用传统基准标记的LFA - HV系统，通过建模深度学习手势识别分类器（GRC），利用神经网络实现实时的车辆控制。此外，我们还对2021年的系统进行了两项改进：一是实现了二分映射关系，提高目标持久性；二是