再见伪影！港大开源GS-SDF：SDF做高斯初始化还能这么稳~

点击下方卡片，关注“3D视觉之心”公众号

第一时间获取3D视觉干货

统一的激光雷达-视觉系统

三维表面重建和真实感渲染在增强现实、具身人工智能等广泛应用中至关重要。随着摄像头的普及以及低成本激光雷达传感器在机器人上的应用，丰富的多模态数据采集变得可行。激光雷达-视觉SLAM技术已被广泛应用于三维重建任务。然而，这些方法通常仅输出离散的彩色原始点云，缺乏完整的表面结构，也不具备依赖视角变化的新视图合成能力。在实际的数字孪生应用中，高质量、封闭的表面重建和真实感渲染是关键。

神经辐射场（NeRF）因其生成高保真渲染的能力而受到关注。但其计算开销大，难以满足实时应用的需求。三维高斯喷溅（3DGS）作为NeRF的有力替代方案，以显式椭球高斯原语实现高效的光照真实渲染。与NeRF依赖繁重的体积渲染不同，3DGS采用光栅化的方式进行渲染。然而，这些原语的碎片化结构破坏了结构连续性，且往往与真实几何对齐不准确。这种不一致性阻碍了几何一致的渲染，尤其在机器人应用中，自由视角的轨迹往往会导致观测数据不足。此外，在仅依赖图像监督、摄像头姿态不完美的情况下，3DGS容易过拟合光度信息，产生悬浮伪影。这促使我们在3DGS框架中引入几何正则化。

3DGS中的几何不一致性会表现为渲染畸变。目前的正则化策略主要依赖渲染深度派生的约束，如从二维高斯喷溅（2DGS）得到的法线一致性，或来自多视图的对齐约束。这些方法主要针对目标中心场景，依赖丰富的多视角正则化，难以推广到复杂环境。深度相机和激光雷达能提供直接的结构先验，启发我们将其纳入3DGS框架以实现几何正则化。然而，由于深度相机精度有限，其应用被限制在室内环境；而激光雷达虽然提供了稀疏但精确的点云，但难以直接整合进为密集图像尺度几何设计的NeRF或3DGS框架中。

激光雷达与神经有符号距离场（NSDF）的结合在实现高精度表面重建方面表现出前景。NSDF提供了流形几何场，促使我们探索更全面的高斯喷溅几何正则化，以及高斯初始化的重要性。然而，由于高斯喷溅原语的不连续特性，其表面重建过程复杂。目前常通过从高斯喷溅渲染的深度图进行截断有符号距离场（TSDF）融合来实现表面重建，但在通用场景中仍表现出不理想的精度。

论文名称：GS-SDF: LiDAR-Augmented Gaussian Splatting and Neural SDF for Geometrically Consistent Rendering and Reconstruction

项目链接：https://github.com/hku-mars/GS-SDF

为了解决上述问题，本文介绍将二维高斯喷溅与神经有符号距离场结合于激光雷达-视觉系统中。我们的目标是在任意轨迹下，利用配准图像与低成本激光雷达数据，同时重建场景的外观与表面结构。我们强调高斯初始化在获得良好结构中的关键作用。我们结合NSDF与高斯喷溅，以利用结构和光度线索，实现高精度的表面重建与几何一致的渲染，如图1所示。

主要贡献：

1. 提出一个统一的激光雷达-视觉系统，实现几何一致的真实感渲染与高精度表面重建；

2. 提出一种基于神经有符号距离场的物理基础高斯初始化，提升训练收敛性并减少悬浮伪影；

3. 设计一种全面的形状正则化方法，在NSDF与高斯喷溅之间建立双向监督，实现几何一致的渲染与重建。

具体方法

给定由激光雷达-惯性-视觉里程计（例如 FAST-LIVO2）获得的图像和点云，我们提出了一个框架，联合重建高精度场景几何和真实感外观。如图2所示，我们的整体流程包括三个阶段：首先使用点云训练一个神经有符号距离场（NSDF）以构建一个流形几何场；接着从NSDF中初始化高斯原语；最后，通过SDF辅助的形状正则化同时优化高斯原语与NSDF，从而实现几何一致的渲染与重建。

二维高斯喷溅

二维高斯喷溅使用平面高斯圆盘表示三维场景。每个圆盘由中心点 、定义其局部平面的正交切向量 、缩放因子 、不透明度  和用球谐函数编码的视角相关颜色  表示。圆盘的法向量由切向量叉乘得到：

在切平面中一点  映射到三维空间中的位置为：

高斯核的权重函数定义为：

渲染时，将高斯转换到相机坐标系并按深度排序。最终像素颜色  通过 alpha 混合计算如下：

高斯属性通过下述渲染损失函数进行优化，其中结合了 L1 损失和结构相似性度量（DSSIM）：

其中  为像素的真实颜色。

神经有符号距离场

我们使用哈希编码和多层感知机（MLP）构建一个神经网络，用于学习可扩展的有符号距离场：

一个三维点  被映射为距离值  和尺度因子 。对于一个激光雷达观测，由起点 、方向 、距离  定义，我们在射线上均匀采样若干点 ，然后对每个点用NSDF进行预测：

将距离残差  转换为占据值：

其中激活函数为：

NSDF的训练损失采用二元交叉熵损失函数：

同时，我们使用Eikonal正则化保证 SDF 梯度幅值为1：

高斯原语初始化

我们强调高斯初始化对优化过程的重要性，提出借助粗略NSDF模型进行物理合理的高斯初始化策略。

1）SDF辅助的几何初始化

NSDF提供流形几何场，可用于稳定高斯初始几何。我们使用 marching cubes 算法从NSDF中提取表面网格，并将网格顶点作为高斯初始位置 。该方法相比结构光三维重建或直接从点云采样，能提供更密集、更准确的位置初始化。marching cubes 的分辨率用于确定高斯的初始缩放 。我们利用NSDF的几何信息以及Gram-Schmidt正交化进行旋转初始化：

高斯不透明度根据SDF值与尺度因子定义为：

2）天空初始化

针对远处背景，我们在一个大球面上均匀布置不透明高斯，用于表示无穷远物体，以避免前景高斯引起的漂浮伪影。

3）颜色初始化

我们先冻结高斯的几何属性，仅通过一轮训练图像对颜色参数进行训练，从而初始化颜色。这有助于在训练初期稳定高斯结构，避免颜色引起的偏移。

几何正则化渲染

基于光栅化的高斯喷溅渲染可能会导致前景误遮挡背景的遮挡伪影。为避免该问题，我们设计几何正则化策略，结合二维图像空间中的渲染一致性约束与三维空间中SDF辅助的形状正则化。

1）渲染一致性正则化

渲染法线图由高斯法线加权平均得到：

从渲染的深度图中可计算有限差分法线：

渲染一致性损失定义为：

2）SDF辅助的形状正则化

考虑到高斯圆盘表示的是表面局部平面，仅将中心点拉到零等值面是不充分的，因此我们对整个圆盘表面进行正则化。对于每个高斯圆盘，在其表面采样点：

采样点在空间中位置为：

对应的SDF损失为：

其中  表示该高斯在图像中的累计权重，且因为 SDF 梯度模长为1：

故我们使用  损失以获取适度梯度，其对高斯参数的偏导如下：

并进一步传播至各结构属性：

优化目标

整体优化损失由点云监督、图像监督与几何正则化项组成：

其中各项权重设为：、、。

实验效果

总结一下

本文通过提出一个统一的激光雷达-视觉系统，解决了高斯喷溅在机器人应用中几何不一致性的问题，成功将高斯喷溅与神经有符号距离场（NSDF）相结合。我们利用NSDF提供的物理基础高斯初始化和有效的形状正则化，实现了几何一致的渲染和重建。大量实验表明，我们的方法在多种轨迹下展现了优越的重建精度和渲染质量。

局限性

我们的方法在外推新视图合成能力上的不足

未来工作

通过探索先进的神经渲染技术来解决这一限制。

【3D视觉之心】技术交流群

3D视觉之心是面向3D视觉感知方向相关的交流社区，由业内顶尖的3D视觉团队创办！聚焦三维重建、Nerf、点云处理、视觉SLAM、激光SLAM、多传感器标定、多传感器融合、深度估计、摄影几何、求职交流等方向。扫码添加小助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

扫码添加小助理进群

【具身智能之心】知识星球

具身智能之心知识星球是国内首个具身智能开发者社区，也是最专业最大的交流平台，近1500人。主要关注具身智能相关的数据集、开源项目、具身仿真平台、VLA、VLN、Diffusion Policy、强化学习、具身智能感知定位、机器臂抓取、姿态估计、策略学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制等方向。星球内部为大家汇总了近40+开源项目、近60+具身智能相关数据集、行业主流具身仿真平台、各类学习路线等，涉及当前具身所有主流方向。

扫码加入星球，享受以下专有服务：

1. 第一时间掌握具身智能相关的学术进展、工业落地应用；
2. 和行业大佬一起交流工作与求职相关的问题；
3. 优良的学习交流环境，能结识更多同行业的伙伴；
4. 具身智能相关工作岗位推荐，第一时间对接企业；
5. 行业机会挖掘，投资与项目对接；