3D Gaussian Splatting学习

最新推荐文章于 2025-10-17 22:47:32 发布
原创 最新推荐文章于 2025-10-17 22:47:32 发布 · 1.8k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

总体框架

新视角生成：3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)
在这里插入图片描述
算法流程：3D高斯表示（利用从相机校准过程中生成的稀疏点进行初始化）—>优化高斯属性（包括位置、不透明度、各向异性协方差和球形谐波系数）—>高斯密度自适应控制（增加或减少高斯球数量）—>快速可微分栅格化器（渲染）

Contributions:

  1. 引入一种各向异性的3D高斯进行高质量、非结构化的辐射场表达
  2. 快速可微的渲染，允许各向异性的抛雪球和快速反向传播
  3. 针对高斯特性的优化方法与自适应密度控制

3D高斯表示

3D高斯在三维空间中表现为椭球形（每个高斯分布都覆盖整个空间，等高线是椭球），描述该椭球形需要知道以下参数（均可微）：三个轴的轴长和三个方向（由高斯函数协方差矩阵中的9个参数描述）、球谐函数（拟合视角相关的外观）和不透明度。

本文用截断的3D高斯椭球显式描述场景（在概率积分99%的等高线截，一个中心透明度高周围透明度低的椭球），既保留了连续体积辐射场的理想属性以进行场景优化，又避免了在空白空间中进行不必要的计算。

3D高斯椭球的位置初始化：录一段视频或者拍一组不同角度的照片，用一些技术（例如SfM）估计点云。或者直接随机初始化一组点云。

SfM算法

输入：同一物体五张不同角度的图片
输出：初始的点云
算法流程：

  1. 特征检测和匹配：使用SIFT算法检测每张照片中的特征点，并在相邻照片之间匹配这些特征点。
  2. 初始相机姿态估计：从两张照片开始，利用基础矩阵或本质矩阵估计相机的相对姿态。
  3. 三角测量：根据初始估计的相机姿态和特征点匹配结果，计算出建筑物的三维点云。
  4. 增量式重建：逐步加入剩余的照片，更新三维点云和相机姿态，最终得到完整的建筑物三维模型。
  5. 全局姿态优化：优化所有照片的相机位置和三维点的位置，以最小化重投影误差，得到更精确的三维结构。

球谐函数

球谐函数是一组定义在球面上的正交函数基（任意一个函数都可以描述为基函数的加权和，基函数越多，表达能力越强）。
在这里插入图片描述
若采用J=3的三阶球谐函数，则一个高斯球有（7+5+3+1）*3=48个参数。

Splatting

各向异性（anisotropic）：指的是从各个方向上看过去，物体的外观表现都不同。

抛雪球（splatting）：一种计算机图形学中用三维点进行渲染的方法，该方法将三维点视作雪球往图像平面上抛，雪球在图像平面上会留下扩散痕迹，这些点的扩散痕迹叠加在一起就构成了最后的图像，是一种针对点云的渲染方法。本文指借助相机外参将这些椭球体沿着特定的角度投影到对应位姿所在的投影平面上。（渲染速度比NeRF更快的重要原因之一）

如何将3D高斯球投影到图像平面：利用相机参数进行线性仿射变换，具体参考[1]：

  1. 从世界坐标系到相机坐标系：
    在这里插入图片描述
    在这里插入图片描述
  2. 从相机坐标系到图像坐标系
    在这里插入图片描述
    在这里插入图片描述

快速可微分栅格化（Tiled-based Rasterizer）

该系统的渲染方法为Tiled-based Rasterizer，本质是基于画家算法的α-Blending，其流程为：

  1. 将整个图像划分为16*16像素大小的bins，并计算每个执行度大于99%的Gaussian点（99%必须投影到当前图像）所处的bins和相对视平面的深度；
  2. 在渲染时，要考虑遮挡关系，因此必须对Gaussian点按照其与相机的距离（深度）进行排序，为每个bin创建一个splats列表，和这个bin相交的所有Gaussian点在这个list里面从近到远依次存放；
  3. 并行地在每个bin上splat，即对每一个bin中的像素执行α-Blending：
    （1）计算list里下一个高斯点在当前像素投影出的颜色和α值
    （2）将颜色与frame buffer中的颜色混合
    （3）将α与透明度buffer中的透明度值相加，如果透明度值大于阈值则退出计算

P.S. 一个椭球体投影到平面上会得到一个椭圆（代码实现时其实是以长轴为直径的圆），然后通过计算待求解像素和椭圆中心的距离，我们可以得到不透明度（离的越近，说明越不透明，用Sigmoid函数限制在[0,1)之内）。每个椭球体又各自代表自己的颜色，这是距离无关的。于是就可以进行alpha compositing，来合成颜色。快速的对所有像素做这样的计算被称作”快速可微光栅化“。
在这里插入图片描述

密度自适应控制

根据梯度自适应调整点云分布：

  1. 需要增加Gaussian点的情况：
    （1）“欠重建”（under-reconstruction）区域：位置梯度很大但方差很小的Gaussian点—>缺少Gaussian点—>对点云进行clone，再沿位置梯度进行移动;
    （2）“过重建”（Over-reconstruction）区域：位置梯度很大且方差很大的Gaussian点—>每个Gaussian点覆盖范围很大—>split，减小这个Gaussian点的值，再复制这个Gaussian点，再沿位置梯度进行移动。

  2. 需要减少Gaussian点的情况：
    （1）每100次迭代移除不透明度小于阈值的点；
    （2）周期性地将所有Gaussian点的透明度设为0，（正常的点在之后的迭代过程中会回归），以除掉离相机比较近的floaters；禁用点的增减和移动功能，仅对Gaussian点的参数进行一段时间训练，有些Gaussian点会在训练过程中变大，盖住其他点或者盖住相机，删除这些点；训练完成后会有一些Gaussian点透明度仍然接近0，删除这些点。
    若一个点的3D高斯太大，无法完全拟合该处细节，就对该点进行分割，该处用两点来表达；若某处的点太密集，就将多个3D高斯合并为一个3D高斯。

训练过程

得到渲染图像Image后，将其与Ground Truth图像比较求loss（损失函数：L1+SSIM结构误差），并反向传播。一方面用随机梯度下降法更新3D高斯中的参数，另一方面在自适应密度控制中更新点云。可微光栅化部分的反向传播误差时按bin对高斯进行索引。

交错优化

需要优化的参数有：包括位置、不透明度、各向异性协方差、球形谐波系数和密度
高斯函数的协方差矩阵必须是半正定的，不能通过梯度下降法直接优化。因此作者把协方差矩阵按如下方式分解：
在这里插入图片描述
其中，S(scale)为对角阵，代表三个轴的长度；R(Rotation)为旋转矩阵。旋转矩阵也不能直接参与优化，所以用四元数将9个参数降到了4个。
在这里插入图片描述

论文
代码

参考1
Matthias Zwicker, Hanspeter Pfister, Jeroen Van Baar, and Markus Gross. 2001a. EWA volume splatting. In Proceedings Visualization, 2001. VIS’01. IEEE, 29–538.
参考2
参考3

3D Gaussian Splatting 数学原理与推导
scott198512的博客
02-22 3424
3D Gaussian Splatting源于EWA的理论基础，本文重点从EWA模型出发，详细推导3D GS中的数学原理，加深对鱼眼相机畸变场景下的理解。
3D Gaussian Splatting 部署
qq_34717531的博客
09-03 5320
简介：3D Gaussian Splatting是一种用一组2d图像创建3d场景的方法，你只需要一个场景的视频或者一组照片就可以获得这个场景的高质量3d表示，使你可以从任何角度渲染它。它们是一类辐射场方法（如NeRF），但同时训练速度更快（同等质量）、渲染速度更快，并达到更好或相似的质量。3D Gaussian Splatting可以实现无界且完整的场景1080p分辨率下进行高质量实时（≥ 100 fps）视图合成。该论文获得的siggraph 2023最佳论文。
论文笔记《3D Gaussian Splatting for Real-Time Radiance Field Rendering》
m0_52065936的博客
09-11 1万+
最近辐射场方法彻底改变了多图/视频场景捕获的新视角合成。然而取得高视觉质量仍需神经网络花费大量时间训练和渲染，同时最近较快的方法都无可避免地以质量为代价。对于无边界的完整场景（而不是孤立的对象）和 1080p 分辨率渲染，目前没有任何方法能达到实时显示率。我们引入了三个关键元素，使得能够达到sota视觉质量同时保证有竞争力的训练时间，而且重要的是可以高质量、实时（≥30fps\ge 30 fps≥30fps）、1080p分辨率的情况下新视角合成。首先，从。
3D Gaussian Splatting论文简要解读与可视化复现(基于gsplat)
最新发布
Younai2021的博客
10-17 1108
gsplat的输入是COLMAP的稀疏点云用来初始化，但是在训练之后会变稠密🚫✅ 它是一个的方法。
三维高斯溅射(3D Gaussian Splatting,3DGS)
2403_85515624的博客
03-14 5650
它通过使用3D高斯函数来表示场景中的点，并将这些高斯函数投影到2D图像平面上进行渲染。这项技术自2023年由Kerbl等人在 ACM Siggraph会议上首次提出以来，因其出色的渲染质量和实时性能而受到学术界和工业界的广泛关注。下图为3DGS算法的流程以下为原文中3DGS效果的展示备注：峰值信噪比(Peak Signal to Noise Ratio,PSNR)是图像质量评价领域最常用且历史最悠久的算法，基于两张图像之间的均方误差，可以进一步计算两张图像之间的PSNR值；
3D Gaussian Splatting 入门
qq_35831906的博客
10-29 3405
3D Gaussian Splatting是一种将点云表示为高斯分布（Gaussian Distributions）的方法，用于3D重建、渲染等领域。这种方法通过在3D空间中对点云进行参数化，使得每个点不仅有位置（XYZ坐标），还拥有大小、方向和颜色等属性，从而可以更好地模拟3D结构的细节。这些属性通常通过高斯分布的参数（如均值、方差和颜色值）进行表示。
3D Gaussian Splatting介绍
m0_37604894的博客
04-17 1万+
3D Gaussian Splatting和NeRF一样，主要用于新视图合成。使用光栅化渲染方式，而不是NeRF的基于射线的体渲染（volumetric rendering along a ray）使用多个3D高斯球显示的表达场景训练推理速度快的同时保证质量高本质上是一个优化问题，没有使用神经网络μ\muμ进行了一定简化，我们回顾一下原始形式，若随机变量服从X∼Nμσ2X∼Nμσ2,则有如下的概率密度函数对应到多元，就是下面的形式，
学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研
gwpscut的博客
01-09 2万+
论文主页3D Gaussian Splatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成）。开山之作就是论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文。
3D Gaussian Splatting：用于实时的辐射场渲染
m0_51976564的博客
11-09 1万+
3D Gaussian Splatting：用于实时的辐射场渲染 3d gaussian splatting for real-time radiance field rendering
精选资源
gaussian-splatting项目百度网盘资料
12-25
gaussian-splatting项目通过提供安装工具和案例，大大简化了3D高斯算法的学习和应用过程。它不仅为研究者和开发者提供了一个强大的工具集，还展示了该技术在实际应用中的潜力。随着技术的不断进步和优化，gaussian-...
3D Gaussian Splatting Linux端部署指南（含Linux可视化）
serapan的博客
02-21 2万+
B站上看过windows版本的部署方式，可惜我的电脑没有GPU，linux服务器才有，于是根据github官网探索3D Gaussian Splatting的Linux端部署方式，记录一下。
3D Guassian Splatting
weixin_45856174的博客
12-09 2111
Splatting算法是一种基于点或者体素的渲染方法，用于将三维数据投影到二维图像平面以生成图像，尤其在三维体绘制和散点云渲染中。对于点和体素的处理方法有一些差别，核心思想是一致的，即将数据点或体素解释为吸收和发射光线的粒子，通过计算这些粒子对屏幕像素的光学贡献来生成图像。作者在摘要中提到，3DGS方法实现了最先进的视图合成质量，并且可以达到实时生成速度。他们的解决方案是基于三个主要部分组成。
【三维重建】3D Gaussian Splatting：实时的神经场渲染
热门推荐
qq_45752541的博客
09-16 4万+
Gaussian Splatting引入了三个关键元素，在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在1080p分辨率下实现高质量的实时（≥30 fps）的新视图合成。
[SIGGRAPH-23] 3D Gaussian Splatting for Real-Time Radiance Field Rendering
qq_40731332的博客
11-23 5163
NeRF效果好，但是训练和渲染很花时间；特别是对1080p分辨率渲染的场景，现有方法无法实现实时渲染。本文引入三个关键部分，实现sota视觉质量、较短训练时间和1080p分辨率下新视角实时渲染。。通过camera calibration中产生的稀疏点进行初始化。这种新的3D表达形式在保存NeRF优点的同时，避免了空白空间不必要的计算开销；。实现3D Gaussian的交替优化和密度控制，优化各向异性协方差矩阵实现对场景的准确表达；Rendering。
3D Gaussian Splatting——配置与实例
m9_743106469350的博客
05-14 6882
天不生我（NeRF）辐射场，3D万古如长夜！！！就在NeRF研究卷得如火如荼之时（为了提高效率、3D生成等张三RF，李四fusion纷纷登场），researcher们一觉醒来，3DGS横空出世，虽然说splatting的概念早已在计算机图形学中存在，但是3DGS的效果的的确确已经十分令人惊叹。。。来不及解释了，赶紧上车！
3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂
qq_35831906的博客
10-30 3015
3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂：根据梯度对3D gaussian 进行增加或删减 （2）删除不符合要求的3D高斯分布（3） 删除不符合要求的3D高斯分布在优化器中对应的参数 （4）对那些梯度超过一定阈值且尺度小于一定阈值的3D高斯进行克隆操作。（5）将新生成的3D高斯分布的属性添加到模型的参数中。 （6）将新的参数张量添加到优化器的参数组中（7）根据旋转四元数构建旋转矩阵。
GaussianSplat
zxyang15的博客
03-16 588
VTK_SurfaceReconstruction_GaussianSplat
（三维重建学习）3D Gaussian Splatting & Instant-NGP环境配置
Wu_JingYi0829的博客
12-07 5701
我对比了一下官方fox文件夹里给的transforms.json写的图片路径，发现，我保存的路径有问题（但我还不知道是哪段代码导致存储的是这个路径）我在conda环境中使用的是python3.8，cuda用的是11.8版本，cudann用的是8.9.6.50。
[CVPR 2023:3D Gaussian Splatting：实时的神经场渲染]
weixin_47869094的博客
12-21 2882
mesh 和点是最常见的3D场景表示，因为它们是显式的，非常适合于快速的基于GPU/CUDA的栅格化。相比之下，最近的神经辐射场（NeRF）方法建立在连续场景表示的基础上，通常使用体射线行进来优化多层感知器（MLP），以实现捕获场景的新视图合成。类似地，迄今为止最有效的辐射场解决方案建立在连续表示的基础上，通过插值存储的值，例如，体素或哈希[网格或点。虽然这些方法的连续性有助于优化，但渲染所需的随机抽样是昂贵的，并可能导致噪声。
ubuntu 3D Gaussian Splatting
03-12
### 实现 3D Gaussian Splatting 的准备工作 为了在 Ubuntu 上成功实现 3D Gaussian Splatting (3DGS)，需要确保操作系统环境已经准备好并安装必要的依赖项。对于 Ubuntu 22.04 版本，建议按照以下指南操作。 #### 安装基础软件包 首先更新系统的软件源列表，并安装一些基本工具和库： ```bash sudo apt-get update && sudo apt-get upgrade -y sudo apt-get install build-essential cmake git wget unzip pkg-config libopencv-dev python3-pip -y ``` #### 设置 Python 和 PyTorch 环境 由于 3D Gaussian Splatting 需要使用到 PyTorch 进行模型训练与推理，因此需先确认 CUDA 版本再选择合适的 PyTorch 版本来安装[^1]。可以通过命令 `nvcc --version` 来查看当前 GPU 所支持的 CUDA 版本号。接着通过 pip 工具来安装对应版本的 PyTorch 及其扩展组件 torchvision: ```bash pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``` 这里假设使用的 CUDA 是 11.7 版本；如果不是，则应调整 URL 中 cu 后面的部分以匹配实际的 CUDA 版本。 #### 获取项目代码 从 GitHub 下载官方提供的 3D Gaussian Splatting 源码仓库： ```bash git clone https://github.com/graphdeco-inria/gaussian-splatting.git cd gaussian-splatting ``` #### 编译 C++ 组件 进入克隆下来的目录后，编译所需的 C++ 插件模块： ```bash mkdir build && cd build cmake .. make -j$(nproc) ``` 这一步骤会生成执行文件和其他必需的支持文件。 #### 准备数据集 如果打算测试自采集的数据集，在此之前还需要做额外的工作来处理这些原始图像序列或者点云数据，使其能够被算法所接受。具体方法可以参见相关文档说明[^3]。 #### 测试运行 最后，尝试启动示例程序验证整个流程是否正常工作： ```bash python3 main.py --config configs/example.yaml ``` 以上就是在 Ubuntu 平台上部署 3D Gaussian Splatting 技术的大致过程概述。需要注意的是，不同硬件配置可能会遇到不同的兼容性和性能优化问题，所以在实践中可能还需进一步调试参数设置。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值