2、3D 手部姿态识别与情绪强度预测技术解析

3D 手部姿态识别与情绪强度预测技术解析

3D 手部姿态识别技术

在 3D 手部姿态识别领域，为了让用户能在大型显示屏前的广泛区域进行手势操作，研究人员提出了一种有效的识别方法。

FOV 分割技术

• 原理 ：全向相机图像通过几何变换为透视投影图像时，虽能抑制畸变，但透视投影图像边缘会拉伸。这是因为球形镜头捕捉的全向相机图像转换为平面坐标导致的。为避免透视投影图像边缘畸变，采用 FOV 分割技术，将输入的全向相机图像通过虚拟旋转相机转换为多个透视投影图像。
• 优势 ：通过将骨架检测结果整合到多个透视投影图像中，可在广泛区域进行骨架检测并抑制畸变影响。同时，由于球形表面的全向相机图像从球心投影到平面坐标时，投影范围最大小于 180°，不进行 FOV 分割很难将显示屏前的整个范围纳入视野，而 FOV 分割生成多个狭窄视野能让用户保持在视野内。
• 操作方式 ：FOV 分割时每个视野有重叠区域，可防止因手出现在视野边界而导致整个手在任何一个视野都不可见时的错误骨架检测。例如，可将视野以 90°视角分为三部分。

两阶段骨架检测技术

• 背景 ：使用 OpenPose 进行整个图像的手部骨架估计时，特别是图像中手较小时，容易出现错误检测。
• 方法 ：采用两阶段骨架检测方法，先通过全身骨架检测获取图像中的手位置信息，以此裁剪出手检测区域。该区域由全身骨架检测得到