从像素到3D高斯:拆解MVSplat如何用CNN+Transformer生成动态场景的Splatting模型
在计算机视觉与图形学的交叉领域,新视图合成一直是一个充满挑战又极具魅力的方向。想象一下,你手头只有几张从不同角度拍摄的静态照片,却需要生成一个可以自由漫步、从任意视角观察的3D场景。这听起来像是魔法,但近年来,以3D Gaussian Splatting为代表的技术正让这种魔法一步步变为现实。然而,传统的3DGS方法通常需要大量、精确的相机位姿和较长的优化时间,限制了其在动态、快速场景构建中的应用。这时,MVSplat的出现,为我们提供了一条全新的思路:它巧妙地将经典的多视图立体视觉技术与前沿的Transformer架构相结合,直接从稀疏的输入图像中,实时预测出用于渲染的3D高斯属性。这篇文章,我将带你深入MVSplat的内部,像拆解一台精密的仪器一样,一步步看清它是如何将二维的像素信息,转化为绚丽的三维高斯“喷溅”模型的。无论你是刚接触3D重建的初学者,还是希望了解最新技术动向的开发者,相信这篇结合了原理图解与代码解析的深度拆解,都能让你有所收获。
1. 核心思想:为何是CNN与Transformer的联姻?
在深入技术细节之前,我们首先要理解MVSplat解决的核心问题是什么。传统的3D Gaussian Splatting流程,可以看作是一个“优化”问题:给定一组图像和相机参数,通过可微分渲染不断迭代调整每个3D高斯椭球的位置、形状、颜色和透明度,直到其渲染出的图像与真实输入图像尽可能相似。这个过程虽然质量很高,但通常耗时较长。
MVSplat则另辟蹊径,它想做的是一次性“预测”。其核心思想是:利用已知的多视图图像及其相机参数,通过一个强大的神经网络,直接推理出整个3D场景的高斯表示。这就像是一个经验丰富的雕塑家,看了几张照片就能在脑中构建出完整的立体模型,并立刻用粘土(3D高斯)塑造出来。为了实现这个目标,MVSplat的设计者选择了CNN与Transformer的组合拳。
- CNN(卷积神经网络):担任“局部特征侦探”的角色。它的强项在于提取图像的局部细节和纹理特征。对于图像中的边缘、角点、纹理模式,CNN能高效地捕捉并编码成高维特征图。在MVSplat中,一个CNN编码器首先对每张输入图像进行下采样,提取出稠密的图像特征。这些特征是后续所有3D推理的基石。
- Transformer:担任“全局关系推理官”的角色。仅靠单张图的局部特征不足以确定深度和3D结构。Transformer通过其自注意力机制,能够分析同一图像内不同区域的关系,更重要的是,它能跨视图建立特征之间的对应关系。例如,判断左视图中的某个窗户特征,对应到右视图中的哪个位置,这种跨视图的匹配是恢复3D几何的关键。
MVSplat的创新之处在于,它没有简单地将CNN特征直接送入后续模块,而是先用Transformer对这些特征进行了一次“增强融合”。具体流程是:CNN提取的特征被添加上位置编码后,送入一个Transformer编码器(论文中采用了Swin Transformer的变体)。这个Transformer块会融合来自同一场景不同视图的特征信息,输出一个既包含丰富局部细节,又蕴含了跨视图几何关联的增强特征。我们可以把这个过程想象成让多个视角的特征图在一起“开会讨论”,共同推演出一个更准确的3D场景理解。
提示:这里使用的Transformer与早期版本MVSplat中测试的Epipolar Transformer有所不同。Epipolar Transformer严格遵循极线几何进行注意力计算,计算更精准但可能更耗时;而Swin Transformer采用窗口注意力,效率更高,实验表明在MVSplat的框架下取得了更好的平衡。
2. 深度估计的基石:Cost Volume的构建与优化
有了经过Transformer增强的多视图特征,下一步就是要恢复场景的几何——也就是深度。MVSplat借鉴了经典多视图立体视觉的思想,通过构建代价体积来实现这一目标。
2.1 从特征到3D空间采样
首先,系统会在一个合理的深度范围内(由near和far参数定义)均匀采样一系列深度假设。例如,采样128个深度平面。对于参考图像(比如视角0)上的每一个像素,我们都有128个可能的深度值。
关键操作来了:对于另一个视角(比如视角1)的特征图,我们需要将这些特征“投影”到参考视角的每一个深度假设平面上。这个过程称为可微分扭曲。
# 伪代码示意:特征投影与代价计算
# feat10: 来自视角1的特征图
# pose_curr: 从视角1到视角0的相机变换矩阵
# disp_candi_curr: 采样的视差(深度的倒数)候选值
# 将视角1的特征根据每个深度假设投影到视角0
feat01_warped = warp_with_pose_depth_candidates(
feat10,
intrinsics,
pose_curr,
1.0 / disp_candi_curr,
warp_padding_mode="zeros"
) # 输出形状: [Batch, Channels, Depth_Candidates, Height, Width]
这段代码执行后,我们得到了一个5D张量:对于参考图像上的每个空间位置(H, W),以及每个深度候选D,都有一个从视角1投影过来的特征向量。
2.2 计算匹配代价
接下来,计算匹配代价。直观理解是:如果某个深度假设是正确的,那么从视角1投影过来的特征,应该和参考视角(视角0)该位置本身的特征非常相似。因此,MVSplat计算两者的点积(一种相似性度量)作为初始代价。
# feat01: 参考视角(视角0)的原始特征图
# feat01_warped: 从视角1投影过来的特征体积
raw_correlation = (feat01.unsqueeze(2) * feat01_warped).sum(dim=1) / (c**0.5)
# raw_correlation形状: [Batch, Depth_Candidates, Height, Width]
这里对通道维度求和并归一化,得到了一个4D的代价体积,其每个元素(b, d, h, w)代表了在(h,w)位置、深度假设d下的匹配置信度。
2.3 代价体积正则化与深度预测
初始的代价体积通常很嘈杂。MVSplat使用一个轻量级的2D U-Net网络对这个代价体积进行“正则化”或“优化”。这个U-Net沿着空间维度(H,W)和深度维度D进行卷积,平滑噪声并聚合上下文信息。
经过U-Net处理后,沿着深度维度D应用Softmax函数,将代价转换为一个概率分布——我们称之为深度概率体积。
pdf = F.softmax(self.depth_head_lowres(raw_correlation), dim=1)
# pdf形状: [Batch, Depth_Candidates, Height, Width]
这个pdf张量中,数值最大的那个深度候选,就是网络认为最有可能的深度。最终的深度图可以通过期望值(加权平均)得到:
coarse_depth = (depth_candidates * pdf).sum(dim=1, keepdim=True)
得到的coarse_depth是特征图分辨率下的深度预测。为了得到全分辨率的深度图,会先将其上采样,再通过另一个Refine U-Net(输入包含上采样深度、原始图像、投影特征等)预测一个深度残差,进行精细调整。
fullres_depth = F.interpolate(coarse_depth, scale_factor=4, mode='bilinear')
refine_feature = self.refine_unet(torch.cat([images, proj_feature, fullres_depth, pdf_max], dim=1))
delta_depth = ... # 从refine_feature中解码
fine_depth = (fullres_depth + delta_depth).clamp(near, far)
至此,我们得到了一个高质量、全分辨率的深度图。这张图不仅本身有价值,更是接下来生成3D高斯属性的关键几何约束。
3. 3D高斯属性的解码:从深度与特征到可渲染的椭球
有了深度图和融合后的特征,MVSplat的下一个任务是将这些2.5D信息“提升”为完整的3D高斯表示。一个3D高斯椭球主要由以下几个属性定义:
- 中心点:椭球在3D空间中的位置。
- 协方差矩阵:决定了椭球的形状(缩放)和方向(旋转)。
- 球谐函数系数:控制椭球的外观颜色,使其随视角变化。
- 不透明度:椭球的透明程度。
MVSplat通过一个名为to_gaussians的预测头(通常是一个简单的CNN)来一次性预测所有这些属性。这个预测头的输入是多种信息的拼接:
| 输入特征 | 来源 | 作用 |
|---|---|---|
refine_out | 深度优化U-Net的输出特征 | 包含丰富的几何与上下文信息 |
images | 原始RGB图像 | 提供颜色和纹理信息 |
proj_feat_in_fullres | 上采样后的Transformer/CNN融合特征 | 提供跨视图的语义和几何关联 |
将这些特征在通道维度拼接后,送入预测头,输出一个形状为[B, 84, H, W]的raw_gaussians张量。这里的84个通道被分配给不同的高斯属性。下面我们拆解每个属性是如何解码的。
3.1 中心点预测:从像素光线到3D坐标
中心点的预测是最直观的,它紧密依赖于我们之前估计的深度图。对于图像上的每个像素(u, v):
- 根据相机内参,可以反投影出一条从相机光心穿过该像素的3D射线。
- 沿着这条射线,根据预测的深度值
depth,就能确定一个3D点:P_cam = depth * ray_direction。 - 这个点是在相机坐标系下的。最后,通过相机外参(世界到相机的变换矩阵的逆),将其转换到世界坐标系:
P_world = extrinsics^{-1} * P_cam。
但这里有个精妙的细节:像素中心不一定对应光线最准确的位置。因此,MVSplat还从raw_gaussians的前两个通道预测了一个2D的偏移量offset_xy。
# 伪代码:中心点计算
# xy_ray: 归一化图像平面上的像素坐标 (范围[-1, 1])
# offset_xy: 从网络预测并经过sigmoid,范围[0,1]
offset_xy = gaussians[..., :2].sigmoid()
pixel_size = 1.0 / torch.tensor([width, height], device=device)
# 将偏移量归一化到像素尺度并调整中心
xy_ray_adjusted = xy_ray + (offset_xy - 0.5) * pixel_size
# 计算相机坐标系下的3D点
means_cam = origins + directions * depths[..., None]
# 转换到世界坐标系
means_world = transform_points(means_cam, extrinsics_inv)
这个微小的偏移量让网络有能力对中心点位置进行亚像素级的微调,提升了重建的精度。
3.2 缩放与旋转:构建协方差矩阵
3D高斯的形状由协方差矩阵Σ定义。在MVSplat中,它通过预测缩放向量S(3个值,对应XYZ轴缩放)和旋转四元数R(4个值)来构造。
- 缩放:从
raw_gaussians中取出对应的通道,经过sigmoid激活并映射到一个预设的最小最大值区间[scale_min, scale_max]。但这里有一个重要的物理约束:物体越远,它在图像平面上投影的大小应该越小。因此,预测的缩放需要乘以深度值depth进行调制。此外,还会乘以一个与相机内参和图像分辨率相关的multiplier,确保缩放为1的高斯在图像空间中大约对应1个像素的大小,这使得初始化更加合理。scales_raw = gaussians[..., 2:5] # 假设第2-4通道是缩放 scales = scale_min + (scale_max - scale_min) * scales_raw.sigmoid() scales = scales * depths[..., None] * multiplier[..., None] - 旋转:从
raw_gaussians中取出接下来的4个通道作为四元数,并对其进行归一化以确保其表示一个有效的旋转。rotations_raw = gaussians[..., 5:9] # 假设第5-8通道是旋转 rotations = rotations_raw / (rotations_raw.norm(dim=-1, keepdim=True) + eps)
有了归一化的四元数R和缩放向量S,就可以构建相机坐标系下的协方差矩阵Σ_cam。通常,假设高斯初始是轴对齐的,其协方差是一个对角矩阵diag(S^2),然后通过旋转矩阵R进行旋转:Σ_cam = R * diag(S^2) * R^T。
最后,一个关键的坐标系转换:这个协方差矩阵是在相机局部坐标系下定义的。为了在世界坐标系下进行渲染,需要利用相机的外参旋转矩阵R_c2w进行变换:
covariances_world = R_c2w @ Σ_cam @ R_c2w.transpose(-1, -2)
3.3 球谐系数与不透明度
- 球谐系数:用于建模视角相关的颜色。
raw_gaussians中剩余的通道(例如75个通道,对应3阶球谐的3个颜色通道)被分配给球谐系数。这些系数最初也是在相机坐标系下预测的,同样需要利用R_c2w旋转到世界坐标系,以确保颜色随世界空间中的视角正确变化。 - 不透明度:其预测路径略有不同。不透明度由前面构建代价体积时得到的
refine_out特征图,经过一个单独的卷积层预测得到density(密度),再通过一个特定的S形变换函数转换为最终的不透明度opacity。这个函数被设计为鼓励稀疏化,使得大部分区域的不透明度接近0或1,而不是模糊的中间值,这有助于生成清晰的高斯分布。
4. 训练、推理与实战中的关键细节
理解了前向预测流程后,我们来看看MVSplat是如何被训练和应用的,这其中有不少工程上的技巧值得注意。
4.1 训练策略与损失函数
MVSplat采用端到端的训练方式。给定一个场景的多视图图像作为输入,网络预测出3D高斯集合,然后在目标视角(训练时通常是已知的输入视角之一)上进行可微分渲染,得到预测图像。损失函数直接比较预测图像与真实目标图像。
常用的损失组合包括:
- L1或L2像素损失:保证颜色的一致性。
- 结构相似性损失:如SSIM或D-SSIM,更好地感知图像结构。
- 感知损失:利用预训练网络(如VGG)的特征图差异,保持高级语义一致性。
通过反向传播,梯度会流经可微分渲染器,一直回溯到CNN和Transformer的参数,以及深度预测网络,迫使整个系统学会从图像中预测出能正确渲染的3D高斯。
4.2 数据准备与Pose归一化
数据预处理对MVSplat的性能至关重要。原始文章中提到,相机位姿的归一化是一个关键步骤。理想情况下,希望场景的平移分量被归一化到[-1, 1]的范围内。这有助于网络训练更加稳定,因为网络不必去适应尺度差异巨大的不同场景。
然而,这里存在一个权衡。在单个场景上训练时,进行位姿归一化通常能获得更好的过拟合效果。但在追求模型泛化能力(即在未见过的场景上也能工作)时,如果每个训练场景都用自己的尺度进行归一化,那么在推理新场景时,由于尺度不一致,可能会导致渲染结果出现明显的偏移。因此,在像KITTI-360这样用于泛化评估的数据集上,有时会选择不使用位姿归一化,而是直接使用数据集提供的原始度量位姿,并相应调整深度范围参数(near和far)。
4.3 从预测到渲染:完整的流水线
让我们串联起整个流程,看看一个完整的MVSplat推理步骤:
- 输入:一个场景的N张图像及其对应的相机内参和外参。
- 特征提取与融合:
- 每张图像分别通过CNN编码器,得到局部特征图。
- 所有视图的特征图加上位置编码后,送入Transformer进行跨视图特征融合与增强。
- 深度估计:
- 以前一视图为参考,构建特征代价体积。
- 通过U-Net正则化代价体积,并沿深度维度Softmax得到深度概率分布。
- 计算期望深度,上采样并通过Refine网络优化,得到最终深度图。
- 3D高斯属性预测:
- 将深度图、Refine特征、原始图像、融合特征拼接。
- 通过
to_gaussians预测头,解码出每个像素对应的3D高斯的中心、缩放、旋转、球谐系数和不透明度。 - 将所有属性从相机坐标系转换到世界坐标系。
- 输出与渲染:得到一组3D高斯椭球(通常数量等于图像像素数)。这些高斯可以直接导入标准的3D Gaussian Splatting渲染器(如官方Viewer或社区实现的Web渲染器)进行实时、高质量的渲染。
我在尝试复现和实验时发现,深度预测的准确性是整个流程的瓶颈。如果MVS(多视图立体)模块估计的深度有较大偏差,后续生成的高斯位置就会出错,导致渲染模糊或错位。因此,仔细调整深度采样范围near/far,以及使用更强大的特征提取与匹配网络,是提升最终效果最直接的途径。MVSplat为我们提供了一个强大而灵活的框架,将深度学习和传统几何视觉紧密结合,为实时神经渲染开辟了新的可能性。它的价值不仅在于其性能,更在于这种“预测而非优化”的范式,让我们看到了在移动设备或VR/AR中实时生成高质量3D内容的曙光。
9587



被折叠的 条评论
为什么被折叠?



