【计算机视觉】四篇基于Gaussian Splatting的SLAM论文对比

本文对比四篇论文：

[1] Gaussian Splatting SLAM
[2] SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
[3] Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting
[4] GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting

一、文章概括

[1] Gaussian Splatting SLAM

这篇论文主要解决的是RGB-D或单目相机的三维重建问题。

1. 相机追踪（Tracking）

在估计相机外参时，该方法最小化以下目标函数：
其中${\lambda }_{pho}$是权重超参数，，。
$I(\mathcal{G},{\mathbf{T}}_{CW})$表示从外参为${\mathbf{T}}_{CW}$的相机渲染高斯集合$\mathcal{G}$所得的图片，$\bar{I}$是真实图片；$E_{pho}$为图片误差。
$E_{geo}$为深度误差，仅在深度信息可用时引入，$D(\mathcal{G},{\mathbf{T}}_{CW})$是渲染出来的深度（渲染方式和RGB值类似，均为按不透明度和透光率加权平均），$\bar{D}$是深度数据。

2. 关键帧选取（Keyframing）

该方法选取关键帧窗口${\mathcal{W}}_k$，选取依据是两帧之间共同可见Gaussians的比例（判断Gaussian是否可见的方法就是判断到该Gaussian的透光率是否达到0.5）。定义共同可见度（covisibility）为当前帧$i$与上一个关键帧$j$之间可见Gaussians集合的IoU。若共同可见度低于某个阈值，或相对平移$t_{ij}$相对于深度中位数较大，则帧$i$被视为关键帧。

同时，在当前帧$i$被加入关键帧窗口时，也要移除${\mathcal{W}}_k$中已经陈旧的关键帧。当帧$j\in {\mathcal{W}}_k$与当前帧$i$可见Gaussians的重叠系数（OC, Overlapping Coefficient）小于某个阈值时，就将其移除。OC的定义如下：

3. Gaussian的新增和删除

每个关键帧都会添加新Gaussians。该方法用关键帧中每个像素点的深度$D$（在单目相机的情形该方法会渲染深度来估计$D$的值）作为新增Gaussians的参考位置。由于$D$不一定准确，新Gaussians的深度服从一个均值为$D$、方差较小的正态分布；对于没有深度估计的像素，新Gaussians的深度服从均值为渲染图像深度中位数、方差较大的正态分布。在一开始还没有Gaussian时，新增Gaussian的位置是随机的。

当关键帧窗口${\mathcal{W}}_k$已满，该方法执行删除操作。如果最近三个关键帧内新增的Gaussians没有在其他至少三帧内观察到，那就将它们移除。不透明度小于$0.7$的Gaussians也会被移除。

4. 三维重建

这部分的目的是维持一个协调的3D结构并优化新插入的Gaussians。参与优化的帧集合为$\mathcal{W}={\mathcal{W}}_k\cup {\mathcal{W}}_r$，其中${\mathcal{W}}_r$是随机选取的两个以往的帧。3D Gaussians的渲染过程没有对沿光线方向的Gaussian进行约束，这可能会导致SLAM过程中出现伪影。因此，该方法惩罚“拉得太长”的Gaussians，方法是引入各向同性约束（isotropic regularization）：
其中${\mathbf{s}}_i$是第$i$个Gaussian的缩放参数，${\tilde{\mathbf{s}}}_i$是其在各个方向的均值。

对于三维重建部分，该方法求解以下最优化问题： min ⁡ T C W k ∈ S E ( 3 ) ∀ k ∈ W , G ∑ ∀ k ∈ W E p h o k + λ i s o E i s o \min\limits_{\underset{\forall k\in\mathcal{W}}{\boldsymbol{T}_{CW}^k\in\mathbf{SE}(3)},\mathcal{G}} \sum\limits_{\forall k\in\mathcal{W}}E_{pho}^k+\lambda_{iso}E_{iso} ∀k∈WTCWk​∈SE(3)​,Gmin​∀k∈W∑​Ephok​+λ