35、增强现实中用于用户交互的手部手势识别

增强现实中用于用户交互的手部手势识别

1. 引言

在增强现实（AR）领域，用户交互至关重要。实现AR与用户交互有两种可能的方法：一是使用额外设备进行交互；二是利用人类手部进行交互。使用额外设备虽简单，但会增加AR设备成本，限制目标用户群体。因此，手部手势是一种可行且高效的交互方式。不过，为实现准确且愉悦的交互，AR设备需具备理解手部手势的能力。

目前，手部手势识别相关文献主要分为两种方法：
- 基于可穿戴手套的传感器方法：该方法虽能取得较好效果，但其存在成本高、用户佩戴不适以及易让老年人困惑等局限性。
- 基于相机视觉的传感器方法：为克服上述缺点，基于相机视觉的传感器技术应运而生。过去十年，许多基于计算机视觉技术的研究成果相继发表，这些方法用相机（如RGB、飞行时间（TOF）、热成像或夜视相机）取代了仪器手套。其核心思想是对皮肤颜色、外观、运动、骨骼、深度、3D模型等手部特征进行分割和检测。

然而，基于相机视觉的手部手势识别面临诸多挑战，如皮肤颜色、背景和光照条件等。由于人类手部具有非刚性特点，形状多变，还可能出现遮挡问题，且手部特征的纹理信息和对比度有限，这使得手部手势识别比人脸识别更具挑战性。

现有文献中的方法通常采用两阶段算法，先进行皮肤检测分割以去除不必要的背景，再进行分类算法实现手部手势识别。这种策略高效且在数据样本有限时也能工作，但高度依赖皮肤分割质量，对不同肤色的鲁棒性较差。另一种方法是直接在基于手势的数据集上进行训练，不考虑局部特征，但特征选择不当会降低其性能。随着深度学习技术的复兴和资源的丰富，深度学习也被用于手部手势分类，但存在数据稀缺问题，需要大量带标签的训练数据。为解决这一问题，可采用迁移学习方法，提高训练效率。