31、3D视频运动估计与编码技术解析

3D视频运动估计与编码技术解析

3D复杂运动估计算法

在3D视频处理中，对物体的运动进行准确估计是一项关键任务。传统的行为单元模型将3D视频流划分为行为单元区间，并通过概率转移模型描述物体的整体动作。而这里介绍的基于模型的3D运动估计算法，能够从给定的3D视频中生成人类动作的运动学描述，从而实现对人类动作的定量分析和编辑。

该算法的核心在于在运动学模型匹配中引入了一对可靠性度量：
- 可见性度量 ：由于物体的姿态不同，部分表面区域可能相互碰撞，导致无法从任何相机观察到。这些不可观察的表面区域在3D视频帧中无法被重建，因此需要评估模型中哪些表面区域不可见，并在与3D视频帧的匹配过程中忽略这些区域。为此，为模型的每个表面点引入了可见性度量。
- 照片一致性度量 ：重建的3D形状可能包含照片一致性较差的表面区域，这是由于校准误差、非朗伯表面反射、孔径问题、无效的可见性近似、视觉外壳继承的幻影体积和/或正则化优化等原因造成的。因此，为3D视频帧的每个表面点引入了照片一致性度量，以在模型匹配中对这些区域进行折扣处理。

运动学模型匹配被定义为一个优化过程，旨在最小化模型与3D视频帧之间的距离度量，其中距离函数由可见性和照片一致性度量加权。在评估照片一致性度量时，使用多视图图像而非纹理化的3D网格数据，因为纹理生成过程可能会引入伪影。

性能评估

通过合成和真实的3D视频数据进行实验，验证了该算法的性能。
- 姿态估计结果 ：在不同时间点（如t7和t9）的姿态估计结果表明，该算法能够在整个运动周期内将关节位置估