首次超越SOTA神经辐射场！南加大新作DBS：仅使用45%参数打造最优3D GS！

0. 论文信息

标题：Deformable Beta Splatting

作者：Rong Liu, Dylan Sun, Meida Chen, Yue Wang, Andrew Feng

机构：University of Southern California

原文链接：https://arxiv.org/abs/2501.18630

1. 导读

3D Gaussian Splatting (3DGS)通过实现实时渲染，具有高级辐射场重建功能。然而，它对几何图形的高斯核和颜色编码的低阶球谐函数(SH)的依赖限制了它捕捉复杂几何图形和多样颜色的能力。我们引入了可变形Beta Splatting (DBS)，这是一种可变形的紧凑方法，可以增强几何形状和颜色表示。DBS用可变形的贝塔核取代高斯核，贝塔核提供有限的支持和自适应频率控制，以更高的保真度捕捉精细的几何细节，同时实现更好的存储效率。此外，我们将Beta内核扩展到颜色编码，这有助于改善漫反射和镜面反射分量的表示，与基于SH的方法相比，可以产生更好的结果。此外，与依赖于高斯属性的现有致密化技术不同，我们从数学上证明了单独调整正则化不透明度可以确保分布保持的马尔可夫链蒙特卡罗(MCMC ),而与splatting核类型无关。实验结果表明，与基于3DGS的方法相比，DBS实现了最先进的视觉质量，同时仅利用了45%的参数，渲染速度提高了1.5倍。值得注意的是，基于splatting的方法首次超过了最先进的神经辐射场，突出了DBS在实时辐射场渲染方面的卓越性能和效率。

2. 效果展示

通过Beta splatting进行高级场景重建。我们的可变形Beta内核实现了高精度的几何和外观表示(a)，同时自然地实现了表面几何与纹理细节的解耦(b)以及镜面和漫射照明的分离(c)。

几何分解:我们设计的Beta内核提供了将场景几何分解为基本结构和复杂细节的能力，例如高频纹理和精细表面变化。

定性比较:利用我们的可变形贝塔核、球形贝塔颜色编码和内核无关的MCMC优化过程，可变形贝塔分层框架在定性上优于隐式SOTA方法(Zp-NeRF)和显式SOTA方法(3DGS-MCMC)。

3. 主要贡献

(1)贝塔核用于几何表示:一个有界、可弯曲的核，通过准确捕捉平坦表面、锐利边缘和光滑区域来提高几何逼真度。

(2)球形贝塔颜色编码:一个高效的视图依赖颜色模型，解耦扩散和镜面组分，以更少的参数实现锐利的镜面亮点。

(3)不依赖内核的MCMC优化:一种利用正则化不透明性和重新定义的Beta噪声函数来保持分布的密集化方法，共同提高优化稳定性和效率，不依赖于内核形状。

4. 实验结果

5. 总结 & 局限性

我们提出了可变形贝塔插值(DBS)方法，这是一种通过三个关键创新来推进实时光场渲染的新方法:自适应几何表示的可变形贝塔内核、高效的视向依赖色彩编码的球形贝塔以及仅依赖正则化不透明度来提高优化稳定性和效率的MCMC内核无关方法。这些创新使得DBS能够以比先前方法更少的内存和计算资源实现卓越的视觉质量。

局限性。由于我们的框架是基于光栅化的，因此在排序过程中，由于深度近似不准确，偶尔会产生“弹跳效果。虽然自适应，但球形贝塔函数难以有效建模镜面反射和各向异性的镜面高光。此外，柱面模型导致贝塔内核为远处的背景优化平面几何，这影响了整体的贝塔几何分布。这些局限性为框架的进一步改进和增强提供了机会。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~