模型压缩70%！精度更高！开源MoDec-GS：更紧凑、更精确的动态3DGS

0. 论文信息

标题：MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

作者：Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

机构：ETRI, South Korea、KAIST, South Korea、Chung-Ang University, South Korea

原文链接：https://arxiv.org/abs/2501.03714

代码链接：https://kaist-viclab.github.io/MoDecGS-site/

1. 导读

3D Gaussian Splatting (3DGS)在场景表示和神经渲染方面取得了重大进展，并致力于使其适应动态场景。尽管提供了卓越的渲染质量和速度，但现有的方法在存储需求和表示复杂的真实世界运动方面存在困难。为了解决这些问题，我们提出了MoDecGS，一种内存高效的高斯分布框架，旨在重建具有复杂运动的挑战性场景中的新视图。我们引入全局到局部的运动分解(GLMD)来有效地以粗到细的方式捕捉动态运动。这种方法利用全局规范支架(全局CS)和局部规范支架(局部CS)，将静态支架表示扩展到动态视频重建。对于全局CS，我们提出了全局锚变形(GAD ),通过直接变形隐式支架属性(锚位置、偏移和局部上下文特征)来有效地表示复杂运动的全局动态。接下来，我们通过局部CS的局部高斯变形(LGD)来精确调整局部运动。此外，我们引入时间间隔调整(TIA)来自动控制训练期间每个本地CS的时间覆盖范围，允许MoDecGS基于指定数量的时间片段找到最佳间隔分配。广泛的评估表明，对于来自真实世界动态视频的动态3D高斯模型，MoDecGS在模型大小上实现了平均70%的缩减，同时保持甚至提高了渲染质量。

2. 效果展示

我们提议MoDec-GS，这是一个内存高效的动态3D高斯分布(3DGS)框架，用于在复杂的现实世界场景中进行新的视图重建。它的核心是全局到局部运动分解(GLMD)方法，该方法使用具有由粗到细调整的全局和局部规范支架来捕捉动态运动。时间间隔调整进一步优化时间片段分配。实验表明**MoDec-GS将模型尺寸平均缩小了70%**同时保持或提高渲染质量。

我们将我们的方法与最先进的方法SC-GS，4DGS，可变形3DGS在单目视频序列上。我们提供了量化的性能以及新颖的视图渲染结果:PSNR，SSIM，LPIPS和存储大小。所提出的方法显示卓越的定量和定性质量性能比SOTA的方法甚至紧凑模型尺寸.

3. 方法

MoDec-GS概述。为了有效地训练具有复杂运动的动态3D高斯模型，我们引入了全局到局部运动分解(GLMD)。我们首先用整个帧训练全局规范支架-GS(全局CS ),并将全局锚变形(GAD)应用于专用于表示其相应时间片段的局部规范支架-GS(局部CS)。接下来，为了精细地调整剩余的局部运动，我们应用局部高斯变形(LGD ),该局部高斯变形利用共享的六边形平面显式地变形重建的3D高斯。在训练期间，执行时间间隔调整(TIA ),将时间间隔优化为适应场景运动水平的非均匀间隔。

两阶段变形的概念和效应。为了表示3D高斯的复杂运动，可以通过锚本身的变形来更有效地处理时间间隔上的全局运动。相比之下，单个3D高斯在一个时间间隔内的细微运动可以通过每个高斯的显式变形来有效地解决。

在训练过程中，时间间隔通过TIA适当地适应场景中的运动程度。已经证实，累积的归一化光流幅度被TIA重新平衡，这导致重新平衡每个间隔覆盖的运动程度。

4. 实验结果

5. 总结 & 未来工作

我们提出MoDec-GS，这是一个新颖的紧凑框架用于高质量动态3D高斯溅射，解决了动态场景重建中的存储需求和复杂运动挑战。通过利用全局到局部运动分解(GLMD)，其中包含全局锚点变形(GAD)用于全局运动和局部高斯变形(LGD)用于精细局部调整，MoDec-GS有效地捕捉复杂运动，同时使用最小的存储空间。此外我们的时间间隔调整(TIA)允许自适应时间分割跨越动态间隔，而不需要外部运动数据。广泛评估证实，MoDec-GS显著减小模型大小，平均减少70%，同时在具有挑战性的数据集上保持或提高渲染质量，为现实世界的动态3D重建提供了一种紧凑而强大的解决方案。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~