12、基于2D和3D姿态估计的手势识别技术及其在车辆系统中的应用

基于2D和3D姿态估计的手势识别技术及其在车辆系统中的应用

1. 2D与3D姿态估计

在手势识别领域，2D姿态估计虽然表现良好，但存在一定局限性。将姿态降为二维会导致图像中部分相关信息丢失，特别是身体朝向以及身体各部分在相机方向上的间距信息。例如在“手放胸前”这个手势起始阶段，2D posenet难以区分手触碰胸部和手远离胸部的情况。

为解决这一问题，引入了3D posenet。该模型在假设人体身高为1.8米的前提下，利用单目图像来估计空间中每个关节的X、Y和Z坐标。3D姿态估计能够恢复身体朝向和肢体间距信息，有望提高分类器的潜在准确性。

2. ACTor 1车辆概述

ACTor 1是一辆经过改装的Polaris Gem e2车辆，配备了一系列传感器和计算机控制系统。它可以通过三种计算单元进行控制，分别是Intel NUC、配备NVIDIA 1070Ti GPU的小型现成桌面计算机以及Raspberry PI 3B。这些计算机可与DataSpeed开发的线控驱动系统进行交互。

车辆的传感器包括：
- Velodyne VLP - 16 360° 16线3D LIDAR
- Allied Vision Mako G - 319C相机（配备6 mm 1stVision LE - MV2 - 0618 - 1镜头）
- Piksi Multi GNSS模块

ACTor的各个系统通过以太网和CAN总线连接。

3. ROS基础

机器人操作系统（ROS）用于与ACTor的硬件进行交互。运行在LINUX操作系统下的ROS是一个中间件平台，它为所有支持ROS的