4、基于多输入融合轻量级网络的骨架手势识别

基于多输入融合轻量级网络的骨架手势识别

1. 引言

近年来，随着机器学习和计算机视觉的发展，动态手势识别在人机交互、手语翻译和医疗辅助等多个领域成为热门研究话题。过去十年，深度相机的广泛使用和手部姿态估计技术的进步，使得高精度的骨骼数据能够轻松获取。与 RGB 和 RGB - D 输入相比，骨骼数据对背景变化和光照变化更具鲁棒性，基于骨骼的手势识别在许多应用中展现出强大的分类效果。

动态手势识别的关键问题之一是如何提取丰富的特征，以充分描述手势的空间配置和时间动态变化。目前主要有卷积神经网络（CNN）、循环神经网络（RNN）和图卷积网络（GCN）三种深度学习方法用于基于骨骼的手势识别，它们分别将原始骨骼数据转换为伪图、时间序列和图结构进行特征提取。其中，基于 CNN 的方法因其结构紧凑、处理速度快，常被用作实时手势检测和识别的骨干模型。

为满足手势识别模型在实际应用中的需求，即适应视角变化的影响、实现高识别准确率并高效运行，我们提出了一种多输入融合轻量级网络。该网络是一个 CNN 模型，配备了静态特征分支和运动特征分支，兼顾了识别准确率和执行速度。

1.1 研究贡献

• 复合两个具有平移、旋转和缩放不变性的几何特征，构成静态特征模块，并引入运动特征，提高模型对不同时空尺度的敏感性和分类效果。
• 采用 1D CNN 和 2D CNN 相结合的网络架构，提取丰富的时空特征，避免了不必要的参数和缓慢的处理速度。
• 对比实验证明，该模型的准确率领先于其他先进的基于 CNN 的网络。

2. 相关工作

2.1 静态和运动特征