20、深度提取与场景解析技术：从视频到3D及图像识别的创新方法

深度提取与场景解析技术：从视频到3D及图像识别的创新方法

1. 深度提取中候选数量K的影响

在视频深度提取过程中，候选图像数量K起着重要作用。以Make3D数据集为例，对不同K值下的三种误差指标（相对误差、log10误差和RMS误差）进行评估。从结果来看，K = 7时为该数据集的最优值，但K ≥ 7时也能取得相近的效果。

经验上，K可视为一个平滑参数。更多的候选图像会使候选集更具多样性，由于推断深度是从所有候选图像中采样得到的，所以随着K的增加，结果会更平滑。以下是不同K值在Make3D数据集上的误差情况示意：
| K值 | 相对误差 | log10误差 | RMS误差 |
| ---- | ---- | ---- | ---- |
| 5 | 较高 | 较高 | 较高 |
| 7 | 最优 | 最优 | 最优 |
| 9 | 相近 | 相近 | 相近 |

2. 2D到3D的应用

近年来，3D视频愈发流行，众多故事片以3D形式呈现，个人摄影设备也大多具备立体拍摄能力。将传统2D电影转换为3D的需求日益增长，但目前电影行业的转换方法成本高且人工密集。

我们的技术可自动生成制作立体视频所需的深度图，通过对每个输入帧应用相应的深度图进行变形。为避免视图合成步骤中出现遮挡空洞，我们改进并扩展了Wang等人的技术。具体操作步骤如下：
1. 深度估计 ：对视频序列或单张图像进行深度估计。
2. 深度转视差 ：将深度转换为视差，并按最大视差值进行缩放：
- 公式为 $W_0 = \frac{W_{