20、非参数场景解析与深度提取技术：从视频到3D转换的创新方法

非参数场景解析与深度提取技术：从视频到3D转换的创新方法

1. 候选图像数量K的影响

在视频深度提取的研究中，候选图像数量K是一个重要的参数。在Make3D数据集上，我们评估了不同K值下的三种误差指标（相对误差、log10误差和均方根误差）。实验结果如图14所示，对于该数据集，K = 7是最优值，但当K大于7时，结果并不会显著下降。

从经验上看，K起到了平滑参数的作用。更多的候选图像会使候选集更具多样性，由于推断的深度在某种程度上是从所有候选图像中采样得到的，因此随着K的增加，结果会更加平滑。

2. 2D到3D的应用

近年来，3D视频越来越受欢迎，许多电影和摄影设备都支持3D功能。然而，将传统的2D电影转换为3D电影目前成本较高且依赖大量人工操作。例如，将电影《超人归来》最多20分钟的片段转换为3D的成本高达1000万美元。

我们的技术可以自动生成制作立体视频所需的深度图。为了避免在视图合成步骤中出现遮挡处的空洞，我们改进并扩展了Wang等人的技术。他们的方法最初仅适用于单张图像，我们将其扩展到处理视频序列。

2.1 自动立体视图合成

在估计视频序列（或单张图像）的深度后，我们进行基于深度图像的渲染（DIBR）来合成用于立体显示的新视图。传统的DIBR方法容易在遮挡处产生大的“空洞”，虽然有很多方法来填补这些空洞，但在一般场景中仍然存在视觉伪影。

我们提出了一种对近期DIBR技术的新颖扩展，使用图像变形来克服遮挡和空洞填补的问题。具体步骤如下：
1. 深度转换为视差 ：给定输入图像和深度值，首先将深度反转转换为视差，并通过最大