《LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors》论文阅读

论文地址：https://arxiv.org/pdf/2409.03456

项目地址：https://github.com/hanyangyu1021/LMGaussian

---------------------------------------------------------------------------------------------------------------------------------

任务：

                                稀疏视角图像的3D场景重建和新视角合成

挑战：

         稀疏视角重建本质上是病态的且欠约束的，往往会产生质量较差且不完整的结果。这是由于初始化失败、对输入图像的过拟合以及细节缺失等问题导致的。

        1）初始化失败：3DGS高度依赖于预计算的相机姿态和点云来初始化高斯球体。然而，由于输入图像之间重叠不足，传统的结构光（SfM）技术无法成功处理稀疏视角场景，导致相机姿态不准确和不可靠的点云，从而影响3DGS的初始化。

        2）对输入图像的过拟合：由于缺乏足够的图像来提供约束，3DGS往往在稀疏输入图像上过拟合，生成的新视角图像可能会出现严重的伪影。

        3）细节缺失：由于多视角约束和几何线索的有限性，3DGS经常无法恢复捕获的3D场景中的细节以及未观测到的区域，这大大降低了最终的重建质量。

解决：

        提出了LM-Gaussian，这是一种能够从少量图像中生成高质量重建的方法。

        旨在通过利用大规模视觉模型的先验知识，解决3D场景的稀疏视角重建问题

贡献：

1）强大的初始化

        提出了一种利用DUSt3R立体视觉先验的新型初始化模块，而不是依赖传统的SfM方法。

        DUSt3R：

                是一个综合的立体模型，它以成对的图像作为输入，直接生成对应的3D点云。

                通过全局优化过程，它从输入图像中推导出相机姿态，并建立全局注册的点云。

        问题：

                由于DUSt3R固有的前景偏差，全局点云通常会在背景区域出现伪影和漂浮物。

        解决：引入了一个基于深度的背景感知初始化模块。

                首先，利用深度先验来细化DUSt3R生成的点云，特别是在场景的背景区域。

                此外，还采用迭代滤波操作，通过进行几何一致性检查和基于置信度的评估来消除不可靠的3D点。 该方法确保生成干净且可靠的3D点云，以初始化3D高斯散射。

2）防止过拟合

        引入了多种几何约束来有效地正则化3DGS的优化

        首先，加入了一个多尺度深度正则化项，鼓励3DGS捕捉深度先验的局部和全局几何结构。

        其次，引入了一个余弦约束的法线正则化项，确保3DGS的几何变化与法线先验保持一致。

        最后，应用了一个加权虚拟视角正则化项，以增强3DGS对未观测视角的抗性。

3）细节保留

        引入了迭代高斯细化模块，利用扩散先验恢复高频细节。

        采用基于扩散的高斯修复模型来恢复从3DGS渲染的图像，旨在增强图像细节并呈现良好的