10、从非校准单目视频进行人体运动与骨骼的 3D 重建

从非校准单目视频进行人体运动与骨骼的 3D 重建

在计算机视觉和图形学领域，从非校准单目视频序列中准确重建人体的 3D 运动和骨骼是一个至关重要的问题。它在人体运动捕捉与合成、步态分析、人体动作识别、人物身份识别以及基于视频的人体运动检索等方面都有广泛的应用。然而，构建一个准确的基于视频的运动捕捉系统并非易事，因为这个问题常常是病态的。单目视频序列中的图像测量值往往存在噪声，不足以确定高维的人体运动，而且遮挡、衣物变形、图像噪声以及未知的相机参数等因素，都会进一步降低系统的性能。

背景

以往解决从单目视频序列重建 3D 人体运动问题的方法主要有两种：
- 统计运动模型 ：
- Howe 等人使用高斯混合密度模型学习人体运动先验，并将其应用于贝叶斯跟踪框架内的 3D 运动搜索约束。
- Brand 运用隐马尔可夫模型（HMMs）对动态全身运动进行统计建模，将 2D 轮廓图像序列转换为 3D 人体运动。
- Pavlovic 等人引入切换线性动态系统（SLDS）进行人体运动建模，在 3D 人体运动合成、分类和视觉跟踪方面取得了不错的效果。此外，还有许多研究人员构建了各种人体姿势的统计模型，用于将 2D 轮廓图像顺序转换为 3D 全身人体姿势。
- 子空间方法 ：
- Ormoneit 等人从大量预注册的 3D 人体运动数据中估计典型活动的子空间模型，并将其集成到贝叶斯跟踪框架中，用于从单目视频序列中顺序跟踪 3D 人体运动。
- Urtasun 等人最近引入了基于梯度的优化方法进行人体运动跟踪，他们在第一帧初始化跟踪器，然后使用小的有限窗口（通常是三帧窗口）递