ZeroGS从无位姿图像训练3DGS

论文：https://arxiv.org/pdf/2411.15779
代码：https://github.com/aibluefisher/ZeroGS

背景

经典的3DGS依赖colmap等SFM算法估计位姿，计算较慢，且位姿可能不准确甚至失败。ZeroGS则可以在无位姿条件下同时进行3DGS的重建和位姿估计，首先通过Spann3R预测点云图和3DGS属性，然后用PnP+RANSAC计算初始位姿，采用增量重建策略得到3DGS表示和位姿，达到比colmap位姿更好的3DGS重建效果。

前置知识

3D Gaussian Splatting(3DGS)

与NeRF的体素3D表示不同，将3D场景表示为3D高斯球的组合，采用point-based积分方式和tile-based的CUDA光栅化达到实时和高质量的渲染效果。

DUSt3R

多视图间共享的ViT编码器和两个Transformer解码器，分别用于参考图和目标图，预测参考图的HXWx3的点云map和目标图在参考图坐标系的点云。DUSt3R只能处理图像对，多图只能后处理对齐点云，非常耗时和占显存。

Spann3R

提出了一种特征融合机制预测全局坐标系下的点云map，当预测第t帧时，参考分支decoder输入融合的特征，目标decoder从memory中搜索得到特征。

方法

ZeroGS扩展了Spann3R支持预测3DGS原语属性，增量式的预测每张图的3DGS属性和点云，作为3DGS的初始化。然后用RANSAC和PnP求解初始位姿，通过极小化point-to-camera光线一致性损失来优化位姿。最后在渲染出refined pose下的图像。每个训练epoch中，会更新training buffer中注册新图像，直到所有注册完成。

增量重建

种子初始化

给定图像集合，不同于增量SfM需要种子图像对用于两视角重建，且匹配点足够多，基线足够宽。这个标准保证了初始图像对于尽可能多其他图重叠以便后续的图像注册。本文则用NetVLAD计算每张图的全局描述子，然后计算每个图像对的相似度得分，构建相似性图G，其中每个节点代表一张图，边代表图像对，边上的权重代表相似度得分，采用阈值s丢弃掉权重小于得分的边。最后选择联通度最大(表面他的相邻图像最多)的节点作为种子图像。

图像注册

种子图像初始化后，增量的注册图像到buffer里，预测3DGS并训练场景回归器，收敛之后，加入新的注册图像直到所有图像完成。
粗糙相机位姿估计：给定参考图，和目标图，Spann3R可以获得全局坐标系的3D点，因此可以构建2D像素点-3D点的对应关系，采用RANSAC和PnP计算初始位姿。

相机位姿细化：传统方法如ACE0用MLP细化初始位姿，在本文中并不能改善位姿准确性。因此采用最小化point-to-camera光线一致性损失，其中 $C_k$是相机中心，$d_{i,k}$是尺度因子，$v_{i,k}$是光线方向。优化过程中，固定已经注册的图像和尺度，只优化当前的目标图。

最终场景表示：在所有图形注册完后，本文提出两阶段的策略改善最终重建结果。第一阶段，固定种子图像位姿，极小化公式(8)优化所有的相机位姿，这是为了解决增量重建中带来的累计误差。第二阶段，固定相机位姿，采用高分辨率图优化3DGS的渲染质量，同原始3DGS的训练流程。

实验结果

在LLFF数据集上位姿估计指标达到sota，新视角的渲染质量也取得较优指标。但在MipNeRF360数据上位姿计算更好，新视角渲染指标与CF-3DGS各有优劣。

总结

CF-3GGS利用了DPT单目深度网络预测3DGS位置作为初始化，InstanSplat则采用DUSt3R预测3DGS位置，并计算相近帧的位姿，进行增量重建，但计算量都较大，现存占用很高。本文则用Spann3R直接预测3DGS属性，多视角间3DGS初始化会更好，带来最终位姿估计更准确，pose refine提升作用未知。也许可以采用GSLoc、GSNet等方法固定GS表示，回传梯度更新pose细化当前帧的pose，最后再联合训练。目前该类方法替代colmap还较为困难。