27、Unwrap Mosaics: A Model for Deformable Surfaces in Video-优快云博客

本文链接：https://blog.youkuaiyun.com/view3/article/details/154870076

Unwrap Mosaics: A Model for Deformable Surfaces in Video

1. 引言

在现实世界中获取的视频序列里，我们的世界模型是由移动相机拍摄的一系列变形 3D 表面组成。计算机视觉的一个常见目标是恢复场景的 3D 表示，通常通过展示带有纹理映射的 3D 网格模型来实现。然而，从先验未知且未校准的镜头中获取这样的模型并非易事。

目前，从刚性场景的图像序列中提取稀疏 3D 信息的技术已经较为成熟，有软件包可从非校准图像序列中恢复 3D 相机轨迹和稀疏 3D 点云。对于非刚性场景的数学扩展虽然已被理解，但在遮挡情况下其估计可靠性较低。在从视频进行密集重建方面，目前还仅限于刚性场景。一些密集模型可通过交互式工具构建，但同样局限于刚性场景。非刚性结构中稀疏点的三角测量至少和刚性结构中的一样困难。

为克服这些困难，我们引入了一种技术，它能生成一种在某些方面等同于变形 3D 表面模型的表示，并且可以直接从视频中提取。关键区别在于，我们恢复的是一种类似于计算机图形“纹理映射”的 2D 潜在图像表示。伴随恢复的潜在图像的是描述其投影到图像的 2D 到 2D 映射，以及用于建模遮挡的二进制掩码序列。纹理映射、2D 到 2D 映射和遮挡掩码的组合就是我们所说的展开马赛克（unwrap mosaic），一个视频通常由多个展开马赛克组成，每个对象和背景各有一个。