29、RGB-D多帧场景流估计：分段刚性运动方法解析

RGB-D多帧场景流估计：分段刚性运动方法解析

1. 场景流估计的优势与能量函数设计

场景流估计在计算机视觉领域具有重要意义。在过分割方面，其具有一定优势，分割更新仅涉及片段合并而非拆分。若要求连续的逐帧分割更新，会显著增加解空间维度、未知量数量以及运行时间，而所提出的假设可避免这些副作用。

在能量函数设计和优化技术选择方面，当前大多数先进方法使用总变差正则化器，并采用梯度下降或变分优化的变体进行流估计。与之不同的是，我们的能量函数以残差平方和的形式给出，并使用线性化技术进行优化。这种策略已被证明在多个计算机图形和3D重建问题中是高效的，同时在场景流估计中也非常有效。

2. RGB - D场景流估计的相关工作

早期的场景流估计方法需要对光流进行多次一致观测，并求解未知深度或视差。分段刚性场景流利用场景的局部刚性作为从立体图像中估计场景流的额外约束。Vogel等人提出了滑动窗口多帧场景流方法，该方法在所有帧的立体对之间施加平面块的一致性。

随着Kinect等经济实惠的深度传感器的出现，基于RGB - D的场景流估计成为一个活跃的研究领域。Semi - Rigid Scene Flow（SRSF）中，Quiroga等人通过单个刚体运动对点位位移进行过参数化，假设场景中的刚性运动占主导地位，将场景流估计为刚性分量和非刚性残差的总和。其能量由亮度恒定性、深度变化和加权总变差项的总和组成，通过交替非线性ROF模型优化进行解耦，能较好地处理小而简单的运动。

SphereFlow提出了类似的刚体运动参数化概念，在球形范围内搜索对应关系。Jaimez等人提出了实时变分Primal - Dual（PD - ）Flow，其能量包括光度和