ICCV‘25南开AD-GS：自监督智驾高质量闭环仿真，PSNR暴涨2个点！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享南开大学团队ICCV'25中稿的最新工作！AD-GS：自监督自动驾驶高质量闭环仿真，PSNR暴涨2个点！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

论文作者 | Jiawei Xu等

编辑 | 自动驾驶之心

背景与挑战

自动驾驶场景的动态建模与渲染对仿真系统至关重要，但现有方法存在明显局限：依赖人工3D标注的方法成本高昂，难以大规模应用；自监督方法则面临动态物体运动捕捉不准确、场景分解粗糙导致渲染伪影等问题。

动态城市驾驶场景的高质量渲染需要精准捕捉车辆、行人等动态物体的运动，同时实现场景的有效分解。传统自监督方法中，神经网络建模运动计算量大且局部细节捕捉不足，仅用三角函数等预定义函数虽提升速度却难以处理局部运动；场景分解依赖复杂语义标注，噪声干扰严重，导致重建质量下降。

核心创新

AD-GS提出一种全新自监督框架，基于高斯splatting实现自动驾驶场景的高质量自由视角渲染，核心突破体现在三方面：

1. 运动建模：融合局部感知的B-Spline曲线与全局感知的三角函数，实现灵活且精准的动态物体运动建模；

2. 场景分解：通过简化的伪2D分割将场景自动分为物体与背景，物体用动态高斯与双向时间可见性掩码表示，提升噪声鲁棒性；

3. 正则化设计：引入可见性与物理刚性正则化，避免模型陷入混沌状态，增强稳定性。

整体框架通过自监督方式实现高质量时空渲染，无需昂贵手动3D标注（Figure 1）。

核心方法细节

整体框架

基于高斯splatting，将场景表示为大量3D高斯，每个高斯由位置 、缩放 、旋转 、不透明度 和颜色 （球面谐波系数）定义。框架将高斯分为物体高斯 与背景高斯 ：

• 物体高斯：通过B-Spline曲线与三角函数实现位置和旋转的时间变形，结合双向时间可见性掩码处理突然出现/消失；

• 背景高斯：保持静止，不随时间变形；

• 所有高斯的颜色通过三角函数进行时间变形，远处天空等区域用可学习球面环境贴图表示。

整体流程如Figure 3所示，通过自监督与正则化训练，实现动态场景的精准重建。

B-Spline运动曲线：全局与局部运动拟合

传统方法（如MLP、三角函数）通过全局优化所有参数拟合运动，难以捕捉局部细节；B-Spline曲线仅优化数据点附近的控制点，实现更精准的局部拟合（Figure 2）。

可学习B-Spline曲线

给定 个控制点 ， 阶B-Spline曲线定义为：

其中 为基函数，仅在特定区间非零，通过矩阵形式（Equation 5）高效计算，控制点为可学习参数。

为结合全局拟合能力，运动模型融入三角函数：

实现局部细节（B-Spline）与全局趋势（三角函数）的协同建模。

可学习B-Spline四元数曲线

标准B-Spline难以处理单位四元数（旋转参数）的插值，因此采用B-Spline四元数曲线：

其中 ， 由基函数累加得到，确保旋转参数的平滑变形。

物体感知Splatting与时间掩码

基于简化2D分割的场景分解

将场景分割简化为“物体”与“背景”两类（运动可能性高的类别为物体，其余为背景），基于SAM生成的伪2D分割结果初始化高斯分类。通过渲染物体掩码并结合二元交叉熵损失 优化，确保物体与背景高斯的正确分布：

其中 为高斯不透明度， 为指示函数。

双向时间可见性掩码

针对物体突然出现/消失，引入时间掩码调整物体高斯的不透明度：

其中 为LiDAR点的采集时间戳（固定值）， 为可学习参数。通过扩展正则化损失 防止掩码过窄（ 为平均帧间隔）。

自监督与正则化

多源监督信号

• 光流监督：利用CoTracker3生成伪标签，通过投影3D位置与光流点的差异损失 约束运动轨迹；

• 逆深度监督：直接渲染逆深度图 ，结合DPTv2生成的伪标签与尺度偏移损失 优化；

• 天空监督：通过SAM生成天空掩码，用二元交叉熵损失 约束天空区域渲染。

刚性正则化

为保证物体高斯的变形一致性，引入正则化损失 ，约束邻近高斯（KNN选取）在位置、三角函数参数、时间掩码等方面的方差：

每10次迭代更新KNN结果以平衡效率与性能。

总损失函数

其中 和 为渲染图像与真值的损失， 为各损失权重。

实验验证

数据集与基线

在KITTI、Waymo、nuScenes三个数据集上评估，对比SUDS、EmerNeRF、PVG等自监督方法，以及4DGF、StreetGS等依赖标注的方法。

性能对比

• 自监督方法：在所有数据集上，AD-GS的PSNR、SSIM均显著优于基线，LPIPS更低。例如KITTI-75%设置中，AD-GS的PSNR达29.16，远超PVG的27.13（Table 1）；Waymo数据集上，物体区域PSNR∗达27.41，远超PVG的21.56（Table 2）。

• 与标注依赖方法对比：AD-GS在无标注情况下性能接近4DGF等方法，如Waymo上PSNR达33.91，接近StreetGS的33.97（Table 2）。

消融实验

• 损失函数：逐步加入 、 、 后，PSNR从26.52提升至29.16，验证各监督项的有效性（Table 4）；

• 模块有效性：B-Spline曲线（局部拟合）与时间掩码（处理出现/消失）的加入，使Waymo数据集上物体PSNR∗从24.28提升至27.41（Table 5），Figure 8可见动态物体渲染质量显著提升。

结论与局限

AD-GS通过B-Spline与三角函数的融合运动建模、简化场景分解、刚性正则化，实现了无标注情况下自动驾驶场景的高质量渲染，显著超越现有自监督方法，且性能接近标注依赖方法。但在复杂动态物体重建仍有挑战；物体可见时间过短（如仅10帧）时渲染质量下降；伪标签质量低会引入伪影（Figure 10）。

参考

[1]AD-GS: Object-Aware B-Spline Gaussian Splatting for Self-Supervised Autonomous Driving

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com