读论文《MVSplat360: Feed-Forward 360 Scene Synthesis from Sparse Views》

关注

原创最新推荐文章于 2026-11-10 00:57:14 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

mvsplat 的笔记因此，代码里有两个 for loop, 一个循环 .torch 文件，一个循环 torch 文件里面的数据集。每一个 pixel 生成一个坐标, 对应一个 Gaussian. Pixel 发生光线，，通过卷积变成2个通道，其中一个作为 density, 另一个作为视差。. 并不一定是从像素中点发生光心，因此，每一个 pixel 还有一个。的4个通道预测的，先得到四元数。图像，而每一个数据集的以字典的形式进行存放。：表示投影的 refrence image。，也是泛化得到的，从。阅读详情

NeurIPS 2024 11.7 的最新论文

从稀疏视图进行前馈 360 场景合成】

论文地址：2411.04924v1https://arxiv.org/pdf/2411.04924v1

项目地址：GitHub - donydchen/mvsplat360: 🏯 [NeurIPS'24] MVSplat360: Feed-Forward 360 Scene Synthesis from Sparse Viewshttps://github.com/donydchen/mvsplat360

摘要

MVSplat360是一种前馈方法，用于从稀疏视图合成多样化真实世界场景的360°新视角（NVS）。这种设置由于输入视图之间的最小重叠和提供的视觉信息不足，本质上是不适定的，使得传统方法难以实现高质量的结果。MVSplat360通过有效地结合几何感知的3D重建和时间一致的视频生成来解决这个问题。具体来说，它重构了一个前馈3D高斯绘制（3DGS）模型，将特征直接渲染到预训练的稳定视频扩散（SVD）模型的潜在空间中，这些特征然后作为姿态和视觉线索指导去噪过程，产生逼真的3D一致视图。该模型是端到端可训练的，并且支持用最少5个稀疏输入视图渲染任意视图。为了评估MVSplat360的性能，我们引入了一个新的基准测试，使用具有挑战性的DL3DV-10K数据集，MVSplat360在广泛的或甚至是360°NVS任务上比最先进的方法实现了更好的视觉质量。在现有基准RealEstate10K上的实验也证实了我们模型的有效性。

鉴于对各种野外场景的稀疏和宽基线观察，MVSplat360 可以前馈方式直接渲染 360° 新视图（向内或向外）或其他自然相机轨迹视图，而无需任何针对每个场景的优化。

介绍

随着不同渲染技术的出现，3D重建和NVS取得了快速发展。这些方法虽然基础且令人印象深刻，但主要针对每个场景的优化，需要数百甚至数千张图像来全面捕捉场景的各个方面。因此，每个场景的优化过程可能耗时，且对于普通用户来说，收集数千张图像是不切实际的。

与此相反，我们考虑使用有限数量的源视图通过前馈网络在多样化的真实世界场景中进行新视角合成的问题。特别是，这项工作研究了使用极少的图像（如少于5张图像）渲染广泛或甚至是360°新视角的可行性。由于场景的复杂性，有限的视图不包含足够的信息来恢复整个3D场景，因此需要在最小重叠下准确集成可见信息，并合理生成缺失细节。

方法

给定稀疏的姿势图像作为输入，我们首先使用多视图 Transformer 和基于体积的编码器来匹配和融合多视图信息。（b）接下来，构建 3DGS 表示以表示整个场景的粗略几何图形。（c）考虑到这种粗略重建是不完美的，我们进一步改编了预先训练的 SVD，使用从 3DGS 表示渲染的特征作为实现 360° 新视图合成的条件。

MVSplat360框架的目标是学习一个模型Φ，该模型能够从N个稀疏视图I和相应的相机姿态P合成广泛或甚至是360°的新视角。该框架包括两个主要组件：多视图几何重建模块和多帧一致性外观细化网络。前者负责匹配和融合来自稀疏观测的多视图信息以创建粗糙的几何重建，而后者旨在使用预训练的潜在视频扩散模型细化外观。

3.1 多视图粗糙几何重建

这一阶段的目标是从稀疏视图观测中重建出场景的粗糙几何结构。具体步骤如下：

多视图特征提取：使用交叉视图变换器编码器融合多视图信息，获取跨视图感知特征。
成本体积构建：通过匹配跨视图特征相关性构建成本体积。这涉及到将深度范围均匀划分为多个层次，并通过对齐特征来构建成本体积。
深度估计：通过对成本体积在深度维度上应用softmax操作来获取每视图的估计深度。
3D高斯参数预测：计算高斯均值、不透明度、协方差和颜色参数，这些参数定义了场景的3D高斯表示。
高斯特征渲染：预测额外的高斯特征参数，并将其光栅化到SVD的潜在空间中，为后续的细化过程提供更丰富的场景信息。
视图选择策略：为了实现360°场景合成，选择正确的相机视图至关重要。提出了一种基于目标视图的输入视图选择策略，通过最远点采样来确定输入视图，并从剩余视图中随机选择目标视图。

3.2 多帧外观细化

在多视图粗糙几何重建的基础上，使用预训练的SVD模型来细化视觉外观。这一阶段的关键步骤包括：

视频扩散模型：使用SVD模型，该模型在大规模视频数据集上预训练，具有强大的时间一致性先验。
噪声注入：将目标图像序列嵌入到潜在空间中，然后通过添加高斯噪声进行扰动，模拟从清晰图像到噪声图像的退化过程。
去噪优化：训练一个去噪器，通过优化目标函数来恢复清晰的图像序列。
混合条件：为了确保模型准确理解场景，采用了混合条件机制，包括CLIP图像嵌入令牌和粗糙几何渲染特征，以提供全局和局部的感知信息。
颜色调整：为了解决合成视频中颜色过饱和的问题，应用了颜色直方图匹配的后处理步骤。

3.3 训练目标

MVSplat360的整个模型是端到端可训练的，使用三组损失函数：

重建损失：结合ℓ2和LPIPS损失，应用于粗糙输出和相应的真实图像之间。
扩散损失：使用v-prediction公式作为扩散损失，微调SVD的去噪网络。
潜在空间对齐损失：通过正则化SVD编码器和3DGS渲染特征之间的潜在空间，以对齐这两个空间。

实验

为了验证MVSplat360在合成广泛和360°新视角方面的有效性，我们建立了一个从DL3DV-10K派生的具有挑战性的基准。它包含来自10,510个真实世界场景的51.3百万帧，涵盖65个兴趣点（POI）类别。对于训练，我们使用了“3K”和“4K”子文件夹中的子集，结果约有2,000个场景。我们在140个基准场景上进行测试，并从训练集中过滤出它们以确保正确性。对于每个场景，我们使用基于相机位置的远点采样选择5个输入视图，并通过对剩余视图的等量采样评估56个视图，总共有7,840个测试视图。