19、秘鲁手语识别与隐性知识渐进形式化研究

秘鲁手语识别与隐性知识渐进形式化研究

1. 秘鲁手语识别研究

听力障碍人士能够通过手语进行交流，但这在他们与正常人之间形成了沟通障碍。目前虽有基于 RGB 图像序列的手语识别模型，但考虑到手势的复杂性，有必要将人体在 3D 空间中的动作纳入考量。

1.1 相关工作

过去几十年，众多研究聚焦于动作识别，旨在模拟人类解读外界的能力，为基于图像的手语翻译做出了不同贡献：
- 3D 卷积网络 ：在视频序列中应用 3D 卷积网络，以保留时间信息，避免 2D CNN 丢失时间信息的问题。
- RGB 和 3D 骨架流结合 ：利用 RGB 和 3D 骨架流作为输入，通过 VGG - 16 CNN 提取 RGB 帧的特征，再将两者数据传递给不同的 LSTM 编码器 - 解码器，最后合并输出以提高准确性。
- VGG 与 LSTM 结合 ：使用 VGG 进行活动识别和图像标记，然后将其输入 LSTM 以学习时空信息，实验表明两层 RNN 比单层效果更好。
- TOF 传感器与 LSTM ：使用 TOF 传感器，通过主成分分析去除无关深度数据，使用持久特征直方图输入带有 softmax 的 LSTM。
- 注意力模型 ：提出基于 LSTM 输出隐藏状态的注意力模型，虽加速收敛，但无法区分序列顺序；还提出全局和局部注意力模型，区别在于输入数据的依赖性。
- 手势推断方法 ：针对 LSA64 数据集提出两种推断手势的