19、基于非参数采样的视频深度提取技术解析

基于非参数采样的视频深度提取技术解析

1. 运动目标检测

在估计深度时，区分场景中的运动和静止物体是一个有用的线索。对于非平移电影（即静态、旋转和可变焦距视频），我们采用以下算法检测运动物体：
1. 处理动态曝光变化 ：找到视频序列中整体强度最低的图像，并对视频中的所有其他帧进行直方图均衡化，以避免传播亮图像中的虚假噪声。
2. 计算相机运动 ：使用RANSAC算法处理点对应关系，计算主导相机运动（使用单应性模型），以对齐视频中的相邻帧。
3. 提取背景 ：对稳定后的图像进行中值滤波，提取背景B（理想情况下，不包含所有运动物体）。
4. 计算运动可能性 ：像素的运动可能性取决于它与背景的差异程度，并由稳定帧之间计算的光流大小加权。使用相对差分（相对于背景像素）来减少对绝对强度值的依赖，然后进行阈值处理以生成掩码：
[
m_{i,k} =
\begin{cases}
1 & \text{if } \frac{||\text{flow} {i,k}||}{||W {i,k}-B|| 2} > \tau \
0 & \text{otherwise}
\end{cases}
]
其中，(\tau = 0.01) 是阈值，(W {i,k}) 是第 (i) 个稳定帧的第 (k) 个像素。
5. 转换运动估计 ：将运动估计转换到视频的每个帧中，通过应用相