TOF摄像机视频中的运动分割（MOTION SEGMENTATION IN VIDEOS FROM TIME OF FLIGHT CAMERAS）

摘要：

本文研究了深度摄像机视频序列中独立运动物体的运动估计和分割问题。具体地，我们提出了一种基于距离流和光流约束方程融合的运动估计算法。流场用于推导长期点轨迹。分割技术根据运动和深度相似性将轨迹分组为时空对象。我们展示了用飞行时间摄影机拍摄的真实场景的结果。

1.介绍：

       本文分析了飞行时间（TOF）摄像机拍摄的视频序列中的短期和长期运动。我们通过综合距离流和光流来估计视频中两帧之间的运动。我们利用这些运动信息推导出稠密点轨迹，并将其分为时空段。导出的轨迹可以为更高层次的场景解释提供重要线索。此外，该信息还可以通过评估不同段之间的运动一致性来进行图像配准。                                                                                       TOF摄像机实时提供直接距离（深度）和同步强度信息。然而，最先进的TOF相机空间分辨率有限，精度低。此外，距离相机的测量也会受到诸如物体反射率、物体距离[1]和内部光散射[2]等因素的影响。因此，有必要专门研究TOF摄像机测量中的运动估计。

1.1 目前技术水平

       与描述两幅强度图像之间运动的光流类似，距离流[3]是指从一系列距离图像中导出的运动矢量。关于可变形表面上的距离流估计的初步工作，可在[4]中找到。Spies等人[3]给出不同类型三维结构情况下的距离流解决方案。Barron和Spies[5]在最小二乘框架中整合了距离流和光流。使用距离和强度信息可以导致更密集的流场。但是，不能保证每个像素都计算出了流向量。为了解决这个问题，[3]使用迭代正则化算法计算稠密流场。Schmidt等人[6]使用针孔相机模型，将TOF相机的传感器观测值直接合并到距离流约束方程中。                                                                                                                                                                                     共同运动和空间接近是分组的有力线索[7]。这些知识在不同的分割方法中有不同的融合，根据结果的性质，这些方法可以分为两组。导致密集分割的方法通常基于局部运动提示（例如，光流[8]）。然而，由于两个物体的运动可以在局部相似，这些方法可以从其他信息中获益，例如长期运动提示[9]、颜色[8]或深度。第二类分割方法对问题有更全局的看法。他们使用跟踪来导出稀疏点轨迹，这些轨迹根据全局运动相似性进行分组（例如[9]）。然而，由于轨迹是稀疏的，分割的结果也是如此。为了将剩余的点分配给段，必须包含附加信息（例如，颜色[9]）。因此，各种分段方法[9，10]利用更密集的点轨迹[11，12]。这些轨迹是精确的，但不能保证每个像素将被分配到一个轨迹（或随后的一个段）。                                                                                                       在本文中，我们的目标是将一段距离视频中的所有点组合成相干运动段。除了深度（由TOF相机获得），我们还结合了长期运动信息。与[12]类似，我们从先前计算的运动矢量中得出轨迹（第2.1节）。与之前的方法不同，我们尝试为距离视频的每个像素导出轨迹（第2.2节）。在第2.3节中，我们使用一种高效的基于图的分割技术[13，8]根据轨迹的空间和运动相似性对轨迹进行分组。第3节展示了我们的算法在实验室记录的视频上的能力，并将结果与最先进的分割方法进行了比较[8]。对不同加工步骤所得结果进行了说明和讨论。

2.算法描述  

       在我们的工作中，我们使用SR3000 TOF摄像机。它通过发射调幅连续波信号并通过测量发