28、单目图像序列与RGB-D多帧场景流的场景流估计方法

单目图像序列与RGB-D多帧场景流的场景流估计方法

在计算机视觉领域，场景流估计是一个关键的研究方向，它对于理解场景中的物体运动和变形至关重要。本文将介绍两种场景流估计方法，分别是基于单目图像序列的NRSfM - Flow框架和基于RGB - D多帧的分段刚性运动场景流方法。

1. 单目图像序列的场景流估计

1.1 NRSfM和MSF问题定义

在连续域中，通过引入的时空结构和关系，可以给出非刚性结构从运动（NRSfM）和多帧场景流（MSF）恢复问题的正式定义。
- NRSfM定义 ：给定投影点相对于时间 $\tau$ 的位移 $W_{\tau}(\hat{v},t)$，NRSfM问题的目标是恢复潜在的非刚性变形场景函数 $S(p,t)$。
- MSF定义 ：给定观察场景的投影 $I(v,t)$，MSF问题的目标是重建场景流函数 $\Theta(p,t)$。

这两个问题的输入和目标不同，但通过特定方程相关联，因此可以采用NRSfM来估计单目图像序列的场景流。

1.2 NRSfM - Flow框架

NRSfM - Flow框架用于MSF恢复，它包含多个步骤，包括对应计算、几何重建以及输入图像序列的预处理步骤。该框架虽然最初设计用于批量处理，但也可用于顺序处理。
- 测量函数计算 ：采用Garg等人的多帧光流（MFOF）方法计算测量函数 $W(\hat{v},t)$。在场景存在严重遮挡时，使用Taetz等人的遮挡感知MFOF方法。
- 非刚性几何和相