12、3D 重建与视频渲染技术：从手持视频到单视图重建

3D 重建与视频渲染技术：从手持视频到单视图重建

在当今的计算机视觉领域，3D 重建和视频渲染技术正发挥着越来越重要的作用。本文将深入探讨两个关键方面：一是如何将手持视频集合转换为易于导航的数字表演，二是如何利用单视图的轮廓信息进行 3D 对象重建。

手持视频转换为数字表演

在处理手持视频集合时，我们的目标是实现对这些视频的交互式导航。为了达成这一目标，首先需要进行离线预处理阶段。

• 预处理步骤 ：
  1. 恢复场景中所有静态元素的几何形状。
  2. 对视频集合进行空间、时间和光度校准，使其与恢复的几何形状相关联。

接下来，我们采用了两种不同的方法来重建场景中的动态元素，这两种方法都利用了之前计算得到的信息，但在推断静态几何外观的方式上有所不同。

方法	推断静态几何外观的方式	优点	缺点
方法一	在每个视频的时间窗口内前后搜索信息	提供像素级的分割精度	/
方法二	通过在不同视频之间传递同一时刻的颜色信息来恢复背景外观	对背景外观的突然变化更具鲁棒性	受