Kinematics-aware spatial-temporal feature transform for 3D human pose estimation

最新推荐文章于 2026-01-09 23:39:02 发布

原创

最新推荐文章于 2026-01-09 23:39:02 发布 · 455 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#3d

本文提出了一种基于运动学感知的时空特征变换方法，利用局部结构编码器和时空特征变换来增强人体姿势的时空特性。实验表明，新方法在3D人体姿势估计中表现出显著的性能提升，特别是在MPJPE指标上。这有助于机器更好地理解和模仿人类姿势，推动以人为中心的自动化系统的发展。

“运动学感知的时空特征变换用于3D人体姿势估计”

3D人体姿势估计在各种人机交互应用中发挥着重要作用，然而如何有效地提取和表示视频中人体结构的运动学特征一直是一个挑战。本文提出了一些关于人体属性的启发性观察，这些观察揭示了人体姿势的启发式模式：1）任何类型的人体姿势都具有明显的时间一致性；2）即使在人体进行复杂动作时，局部关节之间存在明显的空间和时间相关性。根据观察到的模式，提出了一种局部结构特征编码器和时空特征变换的方法，用于运动学感知的特征提取和增强。与现有工作直接将每个骨关节投影到姿势特征而无差别的做法不同，所提出的局部结构特征编码器将人体结构的局部连接属性映射到运动学特征中，这些特征是从人体骨关节的局部和全局组中提取的神经嵌入。由于局部和全局骨关节组根据人体运动学预定义，运动学特征能够表示身体运动学。然后，通过提出的时空特征变换对运动学特征进行转换，以增强人体骨关节之间的空间和时间相关性。整体框架有效促进了3D姿势估计中对人体运动学的表征。对常用数据集的大量实验结果显示，在相同的实验条件下，与最先进的方法相比，平均每个关节位置误差（MPJPE）显著减小。这一改进有望促进机器更好地理解人体姿势，构建更出色的以人为中心的自动化系统。

在这里插入图片描述
图1. 从人体姿势中观察到的启发式模式：(a) 人体展现出运动学本质，因为骨关节的连接关系在空间域中高度结构化；(b) 在视频中可以看到，相邻帧中的人体姿势表现出时间一致性，因为人体部位不能快速移动。