14、实时人体姿态检测与识别及数据缺失处理技术

实时人体姿态检测与识别及数据缺失处理技术

1. 实时人体姿态检测与识别

1.1 相关技术概述

在人体姿态检测与识别领域，有多种技术和工具被广泛应用。MediaPipe 是一个用于构建感知管道的框架，它主要由三部分组成：
- 推断子结构中的感官数据。
- 性能评估工具。
- 可重用的推导和处理组件的计算节点集合。

MediaPipe 提供了自定义的 Python 解决方案，通过安装 Pandas、NumPy 和 Scikit 库就可以轻松使用。同时，OpenCV 4.0 允许以图形形式指定 OpenCV 图像处理函数序列，并且提供原生数据流支持，更适合音频和视频分析。

1.2 主要贡献

• 一个高效且强大的四阶段人体姿态跟踪管道，能够实时检测各种人体动作和情绪。
• 一个面部、姿态和手部预测模型，仅以 RGB 作为输入就能熟练估计 3D 地标模型。
• 一个开源的手部、姿态和面部跟踪管道框架，不仅可以直接使用，还能在 JavaScript 和 Python 中形成可定制的机器学习模型。

1.3 文献综述

• Gupta 等人 ：其方法涵盖场景/事件、人体手势分析、操作对象识别以及人体活动对这些对象的影响观察。该方法超越了传统方法，对每个感知特征施加空间和功能限制，以实现一致的语义表示。
• Liu 等人 ：提出了一种理解人体动作的新方法，重点关注关键位置的选择和包含。所代表的视频帧样式（EPFs