30、基于分段刚性运动的 RGB - D 多帧场景流技术研究

基于分段刚性运动的 RGB - D 多帧场景流技术研究

1. RGB - D 多帧场景流概述

在处理 RGB - D 图像序列以恢复场景流时，我们可以将其视为分段刚性点集配准问题，结合已知的点强度，通过非线性最小二乘法优化光度和几何项。这里介绍的方法能在多个合成和真实数据集上准确运行，相较于多种基于 RGB - D 的场景流和光流方法具有优势。

2. 能量初始化与设置

• 图像平滑 ：为减轻亮度项中图像梯度计算时噪声的影响，对图像 (I_i) 进行高斯平滑处理，但不滤波深度信息，因为能量函数 (E) 中的残差数量比参数（段姿态和姿态组合权重）数量高出几个数量级。
• 段初始化 ：基于深度值使用基于图的分割方法对段进行初始化。开始时，在没有运动分割信息的情况下，根据质心的邻近性初始化段对和邻接矩阵 (\Psi)。具体步骤如下：
  1. 计算段 (S_k) 的中心坐标。
  2. 对于邻接矩阵的每一行（代表一个段），将其 (K) 个最近段对应的行元素设为 1。
• 姿态初始化 ：使用两帧能量公式对齐所有相邻帧对来初始化姿态，非相邻帧之间的变换通过相应姿态的串联进行初始化。
• 项权重归一化 ：对能量函数 (E) 中的每一项相对于总残差数量进行归一化，设置 (\frac{\alpha_{\zeta}}{M_{\alpha_{\zeta}}})，(\frac{\beta_{\zeta}}{M_{\