Omni-Scene：Gaussian统一表征下的自动驾驶多模态生成新SOTA！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享西湖大学最新的工作—Omni-Scene！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『3DGS』技术交流群

论文作者 | Dongxu Wei等

编辑 | 自动驾驶之心

写在前面 & 笔者的个人理解

西湖大学和浙大的工作，利用3DGS的统一表征，结合扩散模型打通自动驾驶场景的多模态生成。近期生成+重建的算法越来越多，这说明单重建或者单生成可能都没有办法很好的cover闭环仿真，所以现在的工作尝试两者结合，这块应该也是后面闭环仿真落地的方向。

先前采用基于像素的高斯表示的工作已经证明了前馈稀疏视图重建的有效性。然而，这种表示需要交叉视图重叠才能进行精确的深度估计，并且受到对象遮挡和截头体截断的挑战。因此，这些方法需要以场景为中心的数据采集来保持交叉视图重叠和完整的场景可见性，以规避遮挡和截断，这限制了它们在以场景为核心的重建中的适用性。相比之下，在自动驾驶场景中，一种更实用的范式是以自车为中心的重建，其特征是最小的交叉视图重叠和频繁的遮挡和截断。因此，基于像素的表示的局限性阻碍了先前工作在这项任务中的实用性。鉴于此，本文对不同的表示方法进行了深入分析，并引入了具有定制网络设计的泛高斯表示方法，以补充其优点并减轻其缺点。实验表明，在以自车为中心的重建中，Omni-Scene明显优于最先进的像素Splat和MVSplat方法，并在以场景为中心的重构中取得了与先前工作相当的性能。此外Omni-Scene用扩散模型扩展了我们的方法，开创了3D驾驶场景的前馈多模态生成。

• 论文链接：https://arxiv.org/abs/2412.06273

总结来说，本文的主要贡献有以下几个方面：

• 我们提出了Omni Scene，这是一种全高斯表示，具有量身定制的网络设计，用于自我中心重