2、基于3D模型的木偶深度图像跟踪以实现其服装的动态视频映射

基于3D模型的木偶深度图像跟踪以实现其服装的动态视频映射

1. 引言

1.1 动机

视频映射在创意表演中广为人知，常用于将图像、动画或电影投影到建筑物或物体上，近年来还实现了交互式投影。常见的视频映射通常应用于静态物体，而动态视频映射，即对移动对象进行连贯的图像或动画投影，仍是一个有待研究的领域。其挑战在于快速跟踪物体，并将增强数据连贯地投影到实际物体上，以确保在物体再次移动之前实现完美映射。

本文聚焦于人类操控的可关节物体，旨在为现场木偶表演详细介绍一种动态视频映射框架。在该框架中，木偶师操控无纹理的木偶，视频投影仪将服装图案映射到木偶上。此木偶专为特定创意木偶剧设计，没有头部和手部，以便木偶师将自己的头部置于其上。每个木偶的手臂或腿部有三个自由度，总共十二个关节，加上木偶三维姿态的六个笛卡尔自由度，需要实时估计18个自由度，用于驱动木偶的虚拟模型并通过投影仪显示。本文重点通过视觉观察，即依靠视觉传感器来估计木偶的自由度，因此需要对投影仪和视觉相机进行校准。

1.2 相关工作

为应对上述挑战，现有工作主要采用两种方法：
- 基于标记的技术 ：在物体上放置红外反射器，通过动作捕捉系统（如Vicon系统）进行跟踪。精心选择的红外标记可被捕捉系统测量，但观众难以察觉。基于标记的技术甚至可以处理变形物体的形状，使用基本的RGB相机即可。然而，这种方法的主要缺点是需要为被跟踪物体配备标记，并精心设计标记的布置，前期设置繁琐。
- 无标记技术 ：设置速度较快，但需要更多处理来跟踪待映射的物体。这些方法利用几何信息，如二维红外成像中的轮廓、RGBD成