SkyWalkerMask：针对3DGS大场景重建中的遮挡物（天空、行人）处理的解决方案

背景问题

在基于3D Gaussian Splatting（3DGS）的大场景重建中，通常会面临两个关键挑战：
一、天空区域干扰
天空云层缺乏显著的纹理特征，在分块训练时，模型可能错误地将天空信息与块内的物体关联，导致渲染质量下降。
二、移动物体遮挡
行人、车辆等动态物体在不同视角下产生不一致的几何信息，造成重建结果模糊，并出现“鬼影”效应。
这些问题在大场景分块处理时尤为突出，严重影响了重建的精度和视觉效果。

技术方案

为解决上述问题，我们提出了一种基于SAM（Segment Anything Model）和GroundingDINO的智能遮挡物检测与剔除方案。该方案能够有效识别并剔除干扰区域，从而提升重建质量。

行人掩码生成示例

天空掩码生成示例

核心架构

1. GroundingDINO：零样本目标检测
GroundingDINO是一种基于自然语言描述的目标检测工具，无需针对特定类别进行训练。

◆结合DINO（DEtection with Transformers）的检测能力与CLIP的语言理解能力。
◆利用跨模态注意力机制，将文本查询与图像特征对齐。
◆支持开放词汇检测，能够识别训练过程中未见过的物体类别。

2. SAM：精确图像分割
SAM提供像素级的精确分割能力，支持点、框、掩码等多种提示方式。

◆基于Vision Transformer的编码器-解码器架构。
◆使用提示编码器处理多种输入提示（如点击、框选、文本等）。
◆通过掩码解码器生成高质量的分割掩码。

技术特点
◆数据规模：在海量图像和掩码数据上训练，具备强大的泛化能力。
◆泛化性能：在未见过的物体和场景中表现出色。
◆多模态输入：支持点选、框选、文本描述等多种交互方式。

3. 引导滤波：边缘保持优化
在平滑掩码噪声的同时，保留重要边缘信息，确保分割结果的精细度。

◆利用引导图像指导滤波过程，通过局部线性变换实现边缘保持平滑。
◆在平滑区域进行强平滑，而在边缘区域保持锐利。
◆通过优化算法自动调整滤波强度，平衡平滑与细节保留。

项目地址

完整代码及相关文件已开源，欢迎访问以下链接获取更多详情：
https://github.com/Owlsun321/SkyWalkerMask

总结

通过结合SAM和GroundingDINO，我们的方案能够快速、高效地解决3DGS大场景重建中的遮挡物问题。这一方法不仅提升了重建质量，还为3D重建领域提供了一个实用且可扩展的解决方案。