7DGS 炸场：一秒点燃动态世界！真实感实时渲染首次“七维全开”

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

7DGS 炸场：一秒点燃动态世界！真实感实时渲染首次“七维全开”

具有复杂视角相关效果的真实感动态场景渲染在计算机视觉与图形学中仍然具有挑战性。示例包括来自真实 CT 扫描的动态心跳可视化以及日照周期中伴随吸收与散射效应的云层过渡。合成动态场景的新视角对于虚拟现实、增强现实、内容创作与数字孪生等众多应用至关重要。尽管在静态场景重建与渲染方面，通过神经辐射场（NeRF）以及最近的 3D 高斯溅射（3DGS）已取得显著进展，但实现高质量、实时的具有视角相关效果的动态场景渲染仍面临巨大的计算与表征挑战。

核心难点在于同时建模三个基本方面：1) 空间几何，2) 时间动态，3) 视角相关外观。每个维度都带来独特挑战。空间建模必须捕捉不同尺度下复杂的场景几何；时间建模必须表示刚性与非刚性运动，可能涉及复杂形变；视角相关建模需要捕捉复杂的光传输效应，如散射、各向异性反射与半透明性。当同时考虑时，由于它们之间的相互依赖性，挑战变得更加复杂——例如，移动物体上的镜面高光会随时间根据视角与物体位置的变化而改变外观。

本文提出 7D 高斯溅射（7DGS），一个用于具有视角相关效果的动态场景实时渲染的统一框架。我们的核心洞察是将场景元素建模为跨越空间位置（3D）、时间（1D）和视角方向（3D）的 7 维高斯。这一高维表示自然地捕捉几何、动态与外观之间的相互依赖性，使得能够更准确地建模移动镜面高光与时间变化的各向异性反射等复杂现象。

论文标题：7DGS: Unified Spatial-Temporal-Angular Gaussian Splatting

项目主页： gaozhongpai.github.io/7dgs/

主要贡献：

• 统一高维表征：我们提出了一种新颖的 7D 高斯模型，共同编码空间结构、时间演化与视角相关外观。此外，我们开发了自适应高斯细化技术，实现对复杂形变与时间变化外观的更准确建模。

• 高效条件切片：通过推导原则性的条件切片机制，我们的方法将高维高斯投影为与现有实时渲染流程兼容的 3D 高斯，确保效率与保真度。

• 验证：大量实验表明，7DGS 在具有复杂视角相关效果的挑战性动态场景中，以 4DGS 最高 7.36 dB 的 PSNR 优势优于先前方法，并保持超过 401 FPS 的实时渲染速度。

预备知识

3D 高斯溅射

3DGS 将场景表示为各向异性 3D 高斯的集合。每个高斯由均值向量  （指定其空间位置）和协方差矩阵  （编码高斯的范围、形状与方向）定义。实践中，协方差分解为：

其中   为对角缩放矩阵，  为使高斯与全局坐标系对齐的旋转矩阵。此分解为局部几何提供了直观且紧凑的表示。

除几何外，每个高斯具有不透明度   与视角相关颜色信息。颜色通过球谐函数建模：

其中   为谐波阶数（通常为 3），  表示视角方向，  为可学习系数，  为球谐基函数。此表示使模型在不同视角下捕捉复杂外观变化，同时通过高效光栅化保持实时渲染能力。

6D 高斯溅射

尽管 3DGS 在静态场景渲染方面表现出色，但它未考虑由视角相关效果引起的外观变化。为克服此限制，6DGS 通过纳入方向信息扩展 3D 表示。在 6DGS 中，每个场景元素建模为定义在联合空间上的 6D 高斯：

其中   表示空间坐标，  编码方向分量。交叉协方差   捕捉位置与方向之间的相关性，使高斯能够编码视角相关外观变化。

为保证数值稳定性并确保正定性，完整的 6D 协方差通过 Cholesky 分解参数化：

其中   为对角元素强制为正的下三角矩阵。对于给定视角方向   渲染图像时，6D 高斯以   为条件，得到空间分量的条件 3D 高斯。具体而言，条件分布为：

其中

此外，每个高斯的不透明度被调制以反映当前视角方向与高斯优选方向之间的对齐：

其中   为正比例参数，控制调制的灵敏度。此机制增强了模型捕捉镜面高光与各向异性反射等视角相关效果的能力。然而，3DGS 和 6DGS 本质上均为静态场景设计，因为它们不包含时间动态。

具体方法

我们引入 7D 高斯溅射（7DGS），一个联合建模空间、时间与角度维度的统一框架。在 7DGS 中，每个场景元素表示为 7D 高斯，自然地捕捉场景几何、动态与视角相关外观。通过用额外的时间维度扩展高斯表示，7DGS 无缝整合空间、时间与角度变化，在保持高效实时渲染与准确视角相关效果的同时，鲁棒地处理动态场景。

1.7D 高斯表征

在 7DGS 中，每个场景元素建模为 7D 高斯随机变量，共同编码其空间、时间与方向属性。此统一表示自然地捕捉场景几何、动态与视角相关外观。形式上，我们定义 7D 高斯如下：

其中：

•  表示空间坐标，均值   与协方差   建模局部几何形状。

•  为标量，捕获时间坐标，均值   与方差   考虑场景元素的动态演化。

•  编码方向（角度）信息，均值   与协方差   对建模视角相关效果至关重要。

非对角块  、  与   捕捉空间、时间与方向分量之间的相关性，使高斯能够跨这些维度建模复杂的相互依赖性。

受 6DGS 启发，我们使用 Cholesky 分解参数化完整的 7D 协方差矩阵：

其中   为对角元素为正的下三角矩阵。此重参数化不仅在优化期间保证有效协方差矩阵，还便于高效计算。

对于颜色表示，我们延续 3DGS 的视角相关球谐公式，不引入额外的时间依赖性，因为动态信息已编码在高斯参数内。

2.条件切片机制

为了在指定时间   与给定视角方向   渲染图像，我们对每个 7D 高斯以观测到的时间与角度值为条件。此操作“切片”完整的 7D 高斯，产生仅控制空间分量的条件 3D 高斯。这样的条件处理至关重要，因为它使我们能够高效地将时间动态与视角相关效果整合到传统 3D 渲染流程中。

我们首先将协方差矩阵划分为两部分：  对应时间与方向维度，  将空间维度与组合的时间-方向空间联系起来：

利用多元高斯分布的标准性质，给定   与   时空间分量   的条件分布也是高斯：

条件均值与协方差为：

为进一步细化渲染，我们根据观测到的时间   与视角方向   偏离高斯期望值的程度调制每个高斯的贡献。我们定义两个独立的调制因子：

其中   与   为正标量参数，控制时间与方向调制的灵敏度。  随观测时间   偏离期望时间   呈指数衰减，衰减率由   控制。类似地，  随视角方向   偏离优选方向   而减小。

高斯的最终条件不透明度通过将基础不透明度   与两个调制因子相结合来计算：

此公式确保当当前时间或视角方向远离其期望值时，高斯对渲染图像的贡献减小，从而有效地将时间动态与视角相关外观整合到渲染过程中。

3.自适应高斯细化

虽然 7DGS 中的条件切片机制根据当前时间   与视角方向   调整空间均值   并调制不透明度  ，但每个高斯的内在形状（由其协方差确定）随时间保持静态。此限制可能阻碍对复杂动态行为（如非刚性形变或运动引起的形状变化）的表示。为了解决此问题，我们引入自适应高斯细化，通过轻量级神经网络计算的残差修正动态更新高斯参数。

具体而言，我们首先构造一个综合特征向量  ，封装每个高斯的几何与时间上下文。该特征向量通过连接空间均值  、时间坐标  、方向均值   以及高频时间编码   形成：

其中   表示向量连接。时间编码   定义为：

其中  。此多频编码提供了时间的丰富表示，捕捉低频趋势与高频细节。

接下来，我们采用一组小型两层 MLP（架构为  ）预测关键高斯参数的残差调整。这些残差被添加到原始参数中以产生细化的估计：

其中   表示 7D 协方差矩阵的向量化下三角元素， 、 、  与   为相应 MLP 预测的残差。这些更新允许空间位置、时间坐标、方向均值与协方差（控制旋转与形状）作为观测时间的函数动态调整。

此细化模块在条件切片步骤之前应用。通过动态调整 7D 高斯参数，后续条件处理产生一个 3D 高斯，其空间属性（包括形状与方向）更准确地反映演化的场景动态与视角相关变化。这导致对复杂运动的改进建模与动态场景更忠实的重建。

4.优化与渲染流程

我们的优化策略将 3DGS 的自适应高斯致密化框架扩展到 7DGS 的丰富时空角度域。在我们的方法中，每个高斯通过克隆与分裂操作动态调整，确保在空间、时间与方向维度上的全面覆盖。

为引导这些细化操作，我们首先从条件协方差矩阵  （在观测到的时间   与视角方向   条件处理后获得）中提取尺度与旋转信息。我们执行奇异值分解： ，其中   为正交矩阵，  为包含奇异值的对角矩阵。然后我们将旋转矩阵定义为  ，并计算尺度向量  。为确保   表示右手坐标系，我们调整其最后一列： 。

对于高斯分裂，7DGS 除空间梯度外还利用时间线索。我们使用非对角块   的幅值量化时空相关性，该块捕捉空间与时间分量之间的相互作用。当该相关性超过阈值 0.05（相对于屏幕范围）且归一化时间尺度（源自  ）大于 0.25 时，对应的高斯被分裂。此标准确保具有显著运动动力学的区域被密集表示。

渲染流程与 3DGS 保持完全兼容。在我们的方法中，7DGS 表示首先通过条件切片机制转换为 3DGS 兼容格式。然后使用标准透视投影将所得条件 3D 高斯的均值与协方差投影到图像平面，产生一组 2D 高斯。这些 2D 高斯随后通过可微光栅化例程溅射到图像画布上，最终像素颜色通过深度感知、不透明度混合的方式聚合所有高斯的贡献来计算。

重要的是，我们的 7DGS 框架与现有 3DGS 训练流程无缝集成。我们采用相同的损失函数、优化器与超参数设置——唯一的修改是增加最小不透明度阈值   用于修剪，以补偿时间与视角方向对条件不透明度   的调制。通过将我们的 7D 表示转换为条件 3D 格式，我们充分利用 3DGS 的自适应密度控制与高效光栅化技术，从而以最小的修改实现增强的性能。

实验

1.实验设置

数据集 我们在三个不同数据集上评估 7DGS：

• D-NeRF：一个合成单目视频数据集，包含八个场景，分辨率为  。0

• Technicolor：一个野外数据集，由同步   相机阵列捕获的视频记录组成，分辨率为  。

• 7DGS-PBR：我们的自定义数据集，使用基于物理的技术渲染，由六个具有复杂视角相关效果的动态场景组成：

• • heart1 与 heart2：源自真实 CT 扫描，这些场景捕捉 15 个时间戳的心脏周期。

  • cloud：基于迪士尼动画工作室体积云数据集，此场景具有跨越 60 个时间戳的完整日照周期。

  • dust 与 flame：源自 Blender Market，这些场景分别在 79 与 101 个时间戳呈现动态体积效果。

  • suzanne：标准 Blender 测试网格，使用半透明“玻璃 BSDF”材质渲染，在 60 个时间戳显示果冻状形变。

对于每个时间戳，我们分别为 heart1、heart2、cloud、dust、flame 与 suzanne 采样 300、60、20、10、10 与 10 个视角，遵循 9:1 的训练-测试分割。所有场景使用 Blender 的 Cycles 引擎渲染，分辨率分别为 heart1 的   与其余场景的  。

评估指标 我们使用三个图像质量指标评估我们的方法：峰值信噪比（PSNR）、结构相似性指数（SSIM）与 LPIPS。对于效率，我们报告高斯点数、渲染速度（FPS）与训练时间（分钟）。

2.实验效果

总结

本文提出了 7DGS，一个通过单一 7D 高斯表示将空间、时间与角度维度统一用于动态场景渲染的新颖框架。我们的条件切片机制高效地将 7D 高斯投影到可渲染的 3D 高斯，实现高质量结果与实时性能。

跨三个数据集的实验表明，7DGS 以高达 7.36 dB 的 PSNR 优于最新技术，同时使用显著更少的高斯点数，并保持超过 400 FPS 的渲染速度（无自适应细化）。我们的方法在具有复杂视角相关效果的场景上表现特别出色，推动该领域朝着统一且高效的动态场景渲染发展。

自动驾驶之心

论文辅导来啦

自驾交流群来啦！

自动驾驶之心创建了近百个技术交流群，涉及大模型、VLA、端到端、数据闭环、自动标注、BEV、Occupancy、多模态融合感知、传感器标定、3DGS、世界模型、在线地图、轨迹预测、规划控制等方向！欢迎添加小助理微信邀请进群。

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com