qq_35831906的博客

HAC++ 实现了显著的尺寸缩减，与原始的 3D 高斯泼溅（3DGS）相比，在所有数据集上平均缩减了超过 100 倍，同时提高了保真度。与 Scaffold-GS 相比，它还实现了超过 20 倍的尺寸缩减。3D 高斯泼溅（3DGS）作为一种新兴的新视角合成框架，以其快速的渲染速度和高保真度而备受关注。然而，大量的高斯点及其相关属性需要有效的压缩技术。尽管如此，高斯点云（或本文中的锚点）的稀疏性和无组织性给压缩带来了挑战。

ActiveSplat，一种利用高斯溅射技术的自主高保真重建系统。该系统通过高效且逼真的渲染，建立了一个统一的框架，用于在线地图构建、视点选择和路径规划。ActiveSplat的关键在于其混合地图表示，结合了关于环境的密集信息和工作空间的稀疏抽象。因此，该系统利用稀疏拓扑结构进行高效的视点采样和路径规划，同时利用依赖视点的密集预测来选择视点，从而促进高效的决策制定，保证良好的准确性和完整性。我们采用基于拓扑地图的分层规划策略，以减少重复轨迹并在有限预算下改善局部粒度，从而确保高保真重建和逼真的视图合成。

神经渲染方法在各类学术和工业应用中显著推动了逼真3D场景渲染的发展。最近的3D高斯溅射方法结合了基于原始元素的表示和体积表示的优点，实现了最先进的渲染质量和速度。然而，它通常会导致大量冗余的高斯分布，这些高斯分布试图适应每个训练视图，而忽略了底层场景几何结构。因此，得到的模型在面对显著的视角变化、无纹理区域和光照效果时表现不够稳健。我们提出了Scaffold-GS方法，通过锚点分布局部3D高斯，并根据视图锥体内的视角和距离动态预测其属性。

3D高斯点云渲染（3D Gaussian Splatting，3DGS）作为一种有前景的新型视图合成框架，以其快速的渲染速度和高保真度受到了广泛关注。然而，3DGS的高斯点和它们相关的属性需要有效的压缩技术。然而，点云的稀疏性和无序性（即我们论文中的“锚点”）给压缩带来了挑战。为了解决这个问题，我们利用无序锚点和有结构的哈希网格之间的关系，利用它们的互信息进行上下文建模，提出了一种哈希网格辅助上下文（HAC）框架，用于高度压缩的3DGS表示。

3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂：根据梯度对3D gaussian 进行增加或删减 （2）删除不符合要求的3D高斯分布（3） 删除不符合要求的3D高斯分布在优化器中对应的参数 （4）对那些梯度超过一定阈值且尺度小于一定阈值的3D高斯进行克隆操作。（5）将新生成的3D高斯分布的属性添加到模型的参数中。 （6）将新的参数张量添加到优化器的参数组中（7）根据旋转四元数构建旋转矩阵。

构造函数 __init__ 的主要作用是初始化 3D 高斯模型的各项参数和激活函数，用于生成 3D 空间中的高斯表示。build_scaling_rotation 的作用是生成 3D 高斯模型的尺度-旋转矩阵，方法是首先创建一个对角尺度矩阵 LLL ，然后对其应用旋转矩阵 RRR。build_scaling_rotation 通过结合旋转和缩放矩阵来生成高斯的尺度-旋转矩阵，而 strip_lowerdiag 和 strip_symmetric 则用于提取协方差矩阵的主要参数。

train函数旨在通过高斯模型增密、学习率调整、定期保存 checkpoint 和渲染优化，训练一个能够表示 3D 场景的高斯模型。数据加载提供了两个主要函数 readColmapSceneInfo 和 readColmapCameras，用于读取和处理 COLMAP 生成的相机参数和场景信息，并将其格式化为易于使用的数据结构。这些函数为后续 3D 重建和 NeRF 训练准备相机参数、点云数据及其他场景归一化信息。

3D Gaussian Splatting是一种将点云表示为高斯分布（Gaussian Distributions）的方法，用于3D重建、渲染等领域。这种方法通过在3D空间中对点云进行参数化，使得每个点不仅有位置（XYZ坐标），还拥有大小、方向和颜色等属性，从而可以更好地模拟3D结构的细节。这些属性通常通过高斯分布的参数（如均值、方差和颜色值）进行表示。