19、基于非参数采样的视频深度提取技术解析

基于非参数采样的视频深度提取技术解析

在计算机视觉领域，深度提取是一个关键的研究方向，它在许多应用中都有着重要的作用，如3D建模、虚拟现实等。本文将详细介绍一种基于非参数采样的视频深度提取方法，包括运动对象检测、数据集介绍、实验结果以及训练规模的重要性等方面。

1. 运动对象检测

在估计深度时，区分场景中的运动对象和静止对象是一个有用的线索。对于非平移电影（即静态、旋转和可变焦距视频），我们采用以下算法来检测运动对象：
1. 处理动态曝光变化 ：找到序列中整体强度最低的图像，并对视频中的所有其他帧进行直方图均衡化，以避免传播较亮图像中存在的虚假噪声。
2. 计算相机运动 ：使用RANSAC对特征点对应关系进行处理，计算主导相机运动（使用单应性矩阵建模），以对齐视频中的相邻帧。
3. 提取背景 ：对稳定后的图像进行中值滤波，提取背景B（理想情况下，不包含所有运动对象）。
4. 计算运动可能性 ：像素的运动可能性取决于它与背景的差异程度，并通过在稳定帧之间计算的光流大小进行加权。使用相对差分（相对于背景像素）来减少对绝对强度值的依赖，然后进行阈值处理以生成掩码：
[
m_{i,k} =
\begin{cases}
1 & \text{if } \frac{||\text{flow} {i,k}||}{||W {i,k}-B|| 2 / B_i} > \tau \
0 & \text{otherwise}