旭先森

表示和渲染动态场景一直是一个重要但具有挑战性的任务。尤其是要准确模拟复杂运动时，通常很难保证高效率。为了在享受高训练和存储效率的同时实现实时动态场景渲染，我们提出了4D Gaussian Splatting（4D-GS），作为动态场景的整体表示，而不是对每一帧单独应用3D-GS。在4D-GS中，提出了一种新颖的显式表示，包含3D高斯和4D神经体素。提出了一种受HexPlane启发的分解神经体素编码算法，用于从4D神经体素中高效构建高斯特征，然后应用轻量级MLP预测新时间戳的高斯变形。

建模动态、大规模的城市场景由于其高度复杂的几何结构和在空间与时间上无约束的动态特性而面临挑战。先前的方法通常采用高级建筑先验，分离静态和动态元素，导致对它们协同交互的次优捕捉。为了解决这一挑战，我们提出了一个统一的表示模型，称为周期振动高斯（PVG）。PVG基于高效的3D高斯散射技术，通过引入基于周期振动的时间动态性。这一创新使得PVG能够优雅且统一地表示动态城市场景中各种对象和元素的特征。为了增强具有稀疏训练数据的时序连贯性和大场景表示学习，我们分别引入了一种新颖的时间平滑机制和位置感知的自适应控制策略。

本文旨在解决自动驾驶场景中动态城市街道建模的问题。近期的方法通过结合跟踪的车辆姿态来扩展神经辐射场（NeRF）以实现车辆的动画效果，从而能够对动态城市街道场景进行逼真的视图合成。然而，其显著的局限性在于训练和渲染速度较慢。我们引入了“街道高斯”（Street Gaussians），这是一种新的显式场景表示方法，可解决这些局限性。具体而言，动态城市场景被表示为一组配备语义logits和3D高斯的点云，每个点云与前景车辆或背景相关联。

这个特性使得它能够更好地与薄表面对齐。虽然之前的方法[Kopanas等，2021；Yifan等，2019]也使用二维高斯进行几何重建，但它们需要密集的点云或地面真实法线作为输入。相比之下，我们仅给定一个稀疏的校准点云和光度监督，就可以同时重建外观和几何形状。如图3所示，我们的二维涂抹由其中心点。

最近，三维高斯Splatting（3D-GS）[22]已经实现了最先进的渲染质量和速度。该方法从由运动恢复结构（Structure from Motion，SfM）[42]得出的点云初始化，优化一组3D高斯来表示场景。它保留了体积表示中固有的连续性，同时通过将3D高斯splatting到2D图像平面上，促进了快速的光栅化。尽管这种方法提供了几个优点，但它往往会过度扩展高斯球体以适应每个训练视图，从而忽略了场景结构。这导致显著的冗余并限制了其可扩展性，特别是在复杂的大规模场景的背景下。

我们介绍了OmniRe，这是一种全面的方法，用于从设备日志中高效重建高保真动态城市场景。最近使用神经辐射场或高斯Splatting对驾驶序列进行建模的方法已经展示了重建具有挑战性的动态场景的潜力，但通常忽视了行人和其他非车辆动态行为者，阻碍了动态城市场景重建的完整流程。为此，我们提出了一个全面的3DGS框架，用于驾驶场景，名为OmniRe，它允许准确、完整地重建驾驶日志中的多样化动态对象。OmniRe基于高斯表示构建动态神经场景图，并构建多个本地规范空间，模拟各种动态行为者，包括车辆、行人和骑自行车者等。

3DGS论文翻译