《MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images》阅读笔记

论文地址：https://arxiv.org/pdf/2403.14627

项目地址：https://github.com/donydchen/mvsplat

--------------------------------------------------------------------------------------------------------------------------------

任务：

                        通过稀疏（即少至两张）图像进行3D场景重建和新视图合成

挑战：

        从单张图像重建3D场景本质上是不定式且模糊的，当应用于更一般且较大的场景时，这成为了一个显著的挑战

贡献：

        1. 准确定位3D高斯中心：在3D空间中通过平面扫描构建代价体积（cost volume）表示。通过2D网络将构建的多视角代价体积估计出的多视角一致性深度反投影获得3D高斯中。

        代价体积：

                (1). 存储了所有潜在深度候选的跨视角特征相似性，这些相似性可以为3D表面的定位提供有价值的几何线索（即高相似性更可能表示一个表面点）。

                (2). 通过代价体积表示，任务被表述为学习执行特征匹配以识别高斯中心，而不是像以前的工作那样基于图像特征进行数据驱动的3D回归。

                (3). 降低了任务的学习难度，使该方法能够在轻量化模型规模和快速速度下实现最先进的性能

        2. 与深度一起预测其他高斯属性（协方差、不透明度和球谐函数系数）。这使得可以使用预测的3D高斯分布和可微分的投影操作渲染新的视图图像。

核心过程：

        1. 为了准确定位 3D 高斯中心，通过在 3D 空间中通过平面扫描构建成本体积(cost volume)表示。

        2. 为了改善几何重建结果，需要缓慢的深度微调和额外的深度正则化损失。

       本文提出了 一个基于高斯分布的前馈模型MVSplat，用于新视角合成。开发了一个高效的多视角深度估计模型，能够通过预测的深度图反投影为高斯分布的中心  ，同时在另一个分支中预测其他高斯参数(