9、基于多骨骼特征与融合网络的手势识别方法研究

基于多骨骼特征与融合网络的手势识别方法研究

手势识别在人机交互领域具有重要意义，能够为人们提供更加自然和直观的交互方式。目前，基于深度学习的手势识别方法主要分为基于视频和基于骨骼两种。本文将介绍一种基于多骨骼特征的动态手势识别方法以及一个特征融合网络，旨在提高手势识别的准确性和实时性。

1. 基于多骨骼特征的动态手势识别

• 常见交互方式的不足与手势识别的意义 ：常见的接触式交互方式（如键盘、鼠标等）存在一定局限性。而手势作为一种直观的交流方式，是我们常用的身体语言。动态手势识别能将手势交流转化为与计算机的交互方式，为新型非接触式交互提供了可能。
• 视觉手势识别方法分类
  • 基于视频的动态手势识别 ：通过分析处理手部运动的图像或视频来判断手势类型，常使用3D卷积网络进行特征提取。但该方法需要高计算能力和大存储容量，且受环境光强度变化影响较大。例如，Z. Hu引入3D卷积用于手势识别任务，虽在人类行为识别中表现出色，但3D卷积在实际特征提取过程中冗余度高。为减少资源消耗，Z. Chen提出卷积LSTM网络以减少模型参数。
  • 基于骨骼的动态手势识别 ：基于人体骨骼变化，通过捕捉手部骨骼姿势变化进行手势识别。主要利用传感器设备（如深度相机）或手部姿态估计获取人体骨骼信息，计算量小、识别准确率高，适用于手势跟踪和识别等领域。不过，骨骼信息不能全面代表手势动作特征，实际识别中会受到视角、距离和个人习惯等因素影响，导致难以提取有用特征，平衡网络的准确性和运行速度。