【视觉三维重建】【论文笔记】高清3D高斯泼溅（Deblurring 3D Gaussian Splatting）

已于 2025-09-06 09:00:01 修改
阅读量2k 收藏 12
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 计算机视觉算法 深度学习 文章标签： 论文阅读 超分辨率重建 计算机视觉
于 2024-03-10 17:36:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CSUzhangpeike/article/details/136579178
本文介绍了针对3D高斯泼溅渲染的去模糊技术，通过MLP对3D高斯协方差建模，实现实时高质量的图像重建。在训练中引入模糊，推理时去除，模拟类似于假性近视矫正的过程。实验结果显示该方法在保持高细节还原度的同时，提高了图像清晰度，达到了接近SOTA的性能。

去模糊的3D高斯泼溅，比3D高斯更加精细，对场景物体细节的还原度更高，[官网]（https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/）

背景技术

Volumetric rendering-based nerual fields：NeRF.
Rasterization rendering: 3D-GS.
Rasterization比volumetric方法更加高效。

摘要

一种新的field-based的网络模型，实现对最新的rasterization rendering技术——3D高斯泼溅的去模糊。
设计MLP，对各个3D高斯的协方差建模；既能重建出优异、锐利的细节，又能保证实时渲染。

方法

一个MLP处理3D高斯模型，其输入包含视线方向向量vvv，模型的位置

了解本专栏 订阅专栏 解锁全文
中科院突破：TalkingGaussian技术实现3D人脸动态无失真，高效同步嘴唇运动！
math_bearrr的博客
04-29 3530
3D高斯喷溅（3D Gaussian Splatting, 3DGS）是一种用于表达三维空间信息的技术，通过一组3D高斯原始数据来实现。这些高斯原始数据包括中心位置、缩放因子、旋转四元数、不透明度和颜色特征。在渲染过程中，根据相机模型信息，这些高斯原始数据被用来计算观察视图下的像素颜色。3DGS的核心优势在于其明确的空间表达和优化策略。通过梯度下降法优化高斯原始数据的参数，结合密集化策略控制原始数据的增长，并剪除不必要的数据，从而实现高效的颜色监督。
新风向？——2DGS（2D高斯泼溅）横空出世
weixin_72914660的博客
05-27 6061
2DGS原理解析
基于 3D 高斯泼溅的重建 (3DGS-based)
最新发布
zczyyds的博客
09-18 1244
3DGS (3D Gaussian Splatting) 是比 NeRF 更晚出现的技术，它在保持高质量渲染的同时，极大地缩短了训练时间并实现了实时渲染。核心思想：与 NeRF 使用隐式的神经网络不同，3DGS 用一组离散的、可优化的 3D 高斯函数来显式地表示场景。每个高斯函数都有位置、形状（各向异性协方差）、颜色和不透明度，球谐函数（SH）系数等属性。渲染时，这些 3D 高斯函数被“泼溅”(Splatting) 到 2D 图像平面上，并通过 alpha-blending 混合成最终的图像。
Deblurring 3D Gaussian Splatting
步子哥的博客
01-03 1695
在基准测试中进行了多种实验，结果表明该方法在去模糊方面是有效的，并且在不同的评估矩阵下，该方法在渲染质量上达到了最先进的水平，同时实现了显著更快的渲染速度（> 200 FPS）。: 由于模糊图像可能导致稀疏的点云，论文提出了一种训练技术，通过添加具有有效颜色特征的额外点和基于位置的高斯修剪来补偿稀疏点云，以便在场景的远平面上保留更多的点。通过这些实验，论文展示了所提出的方法在去模糊失焦模糊的同时，仍能保持实时渲染的能力，并且与现有尖端模型相比，在不同的评估指标下表现优越或相当。
Deblurring 3D Gaussian Splatting去模糊3D高斯溅射
04-11 1967
Recent studies in Radiance Fields have paved the robust way for novel view synthesis with their photorealistic rendering quality. Nevertheless, they usually employ neural networks and volumetric rendering, which are costly to train and impede their broad u
【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）
进阶中的程序员吃吃的博客
05-15 1万+
对3DGS原文进行翻译，以及部分理解。
3D高斯泼溅的崛起【三维重建】
新缸中之脑
04-08 8920
3D 高斯分布是计算机图形学中的一项复杂技术，它通过将点或“splats”从点云投影到 3D 空间，并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。该技术支持复杂的依赖于视图的视觉效果，并通过产生动态且逼真的可视化效果超越了传统的点云渲染。今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文，详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节（全文和 git 存储库可在线公开获取），引发了人们对这一主题的新兴。
【三维重建】SpotlessSplats：去除瞬态干扰物的三维高斯喷溅（3DGS）
qq_45752541的博客
08-12 4070
三维高斯喷溅（3DGS）是一种最新的三维重建技术，提供了高效的训练和渲染速度，使其适用于实时应用。然而，目前的方法需要高度控制的环境——没有移动的人或风吹的元素，以及一致的照明——以满足3DGS的视图间一致性假设。这使得重建现实世界的捕获成为问题。我们提出了无斑点斑图，一种利用预训练和通用特征结合鲁棒优化来有效地忽略瞬态干扰物的方法。我们的方法实现了最先进的重建质量。利用神经辐射场（NeRF）和最近的三维高斯喷溅（3DGS）从二维图像中重建三维场景一直是视觉研究的热点。
Deblurring-3D-Gaussian-Splatting代码解读
weixin_58247017的博客
04-03 923
0]，llffhhold是7，cam_infos是27个，train_cam_infos有23个，索引是[1, 2, 3, 4, 5, 6, 8, 9, 10, 11, 12, 13, 15, 16, 17, 18, 19, 20, 22, 23, 24, 25, 26]通过同时优化MLP和高斯参数，MLP学习如何将清晰的高斯参数转换为模糊的参数，而高斯参数本身被优化，使得在去除MLP的影响后，它们本身已经足够准确表示清晰场景。图中训练阶段的模糊建模管道（虚线 / 点线箭头）清晰展示了这一逻辑。
用3D高斯泼溅(3DGS)重建自己的数据
木盏
03-05 1万+
几乎可以下结论：3D Gaussian Splatting(3DGS)技术的出现，宣告了NeRF时代的结束。一个集高渲染质量、分钟级重建速度、实时渲染速度为一身的三维重建算法3DGS，毫无疑问开创了一个新的时代。本文不对3DGS的原理做太深入的解读，只做实验。，因为colmap会默认选用【SIMPLE_RADIAL】，而这个是3DGS不支持的模式。folder_A是数据路径，folder_B是结果路径。本文由本人亲自整理，实验获得成功。一个图像文件夹，每个视角各一张图片，命名方式如上。
高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命
yingtu666的博客
02-23 4281
高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命
三维高斯溅射(3D Gaussian Splatting,3DGS)
2403_85515624的博客
03-14 5384
它通过使用3D高斯函数来表示场景中的点，并将这些高斯函数投影到2D图像平面上进行渲染。这项技术自2023年由Kerbl等人在 ACM Siggraph会议上首次提出以来，因其出色的渲染质量和实时性能而受到学术界和工业界的广泛关注。下图为3DGS算法的流程以下为原文中3DGS效果的展示备注：峰值信噪比(Peak Signal to Noise Ratio,PSNR)是图像质量评价领域最常用且历史最悠久的算法，基于两张图像之间的均方误差，可以进一步计算两张图像之间的PSNR值；
iTwinCapture（CC）最新版可重建三维高斯泼溅（3D Gaussian Splatting,3DGS）
航测 & AI 与您共赴新时代！
05-12 3947
在此之前，想要跑3DGS只能使用第三方软件，效率上相较于CC还是差很多意思，同时还需要面临对环境、软件设置的复杂调控，只能是看着别人跑出来的高斯模型玩一下。和原来基本上差不多的操作即可完成对软件的设置，最关键的是，CC作为跑OSGB主流软件，其空三的准确度和效果是毋庸置疑的。3DGS能很好的处理这些问题，同时能较好的反应采集时的光效，在视觉上优于OSGB.iTwinCapture可以说是三维重建中性价比最高的软件，在现在的最新版24.1.7.4760中新加入了三维高斯泼溅重建！
117篇 | 3D Gaussian Splatting论文
一点人工一点智能的博客
05-03 1019
本论文集划分为4个部分：综述&基础（14篇）、NeRF在AIGC（54篇）、NeRF在SLAM（自动驾驶）（25篇）、NeRF之场景建模（25篇）
图扑 HT 引擎 × 3DGS 高斯泼溅
二三维数据可视化/数字孪生
12-31 1571
本篇内容将展示图扑软件应用 3D 高斯泼溅技术，对厦门总部办公室和厦门中山路步行街进行的可视化项目搭建。通过将现实场景中的每栋建筑、每处细节和每道光影完整地映射到虚拟空间中内，让用户能从虚拟空间中全方位体验建筑环境，获得沉浸式的空间互动体验。
3D Gaussian Splatting 论文学习
dragonylee的博客
09-10 1490
将场景中的物体投影到渲染平面：传统的渲染管线就是这种方式，主要针对Mesh数据，可以将顶点直接投影成2D的形式，配合光栅化、深度测试、Alpha混合等就可以得到渲染的图像。从相机到像素发出一条射线与场景物体交互去计算沿着射线的颜色积分：例如光线追踪，去计算光线和Mesh的光学行为（反射等）来得到像素的颜色值；或是体渲染，对于体数据或是隐式的场景表达（NeRF）通过采样的方式来计算一个光线上的离散的积分，得到最终的颜色。
3D 高斯泼溅(Gaussian Splatting)-3D重建的3DGS时代
wishchinYang的专栏
05-17 4839
3D重建自从NeRfs出现之后又热闹了一次，3D GS技术一时间燃变了整个三维重建和Slam领域，几个月不见，沧海桑田。3D 高斯泼溅（Splatting）是，它允许实时渲染从小图像样本中学习到的逼真场景。从点云/多面体 到场景渲染，是一个异常 经验性的过程。SIGGRAPH 2023论文奖公布，山大、港大获奖，北大、腾讯光子获提名 - 知乎机器之心报道， 编辑：蛋酱、小舟。近日，计算机图形学及互交技术顶会 SIGGRAPH 2023 公布了今年的技术论文奖项。
【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering
weixin_45657478的博客
12-22 7599
【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering
3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】
热门推荐
学姐带你玩AI的博客
01-08 1万+
CV玩家们，知道吗？对，就是计算机视觉最近的新宠，在几个月内席卷三维视觉和SLAM领域的3D高斯。不太了解也没关系，我今天就来和同学们一起聊聊这个话题。如果说NeRF等辐射场方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态，那么3D高斯则是在NeRF的基础上，做到了在保持有竞争力的训练时间的同时实现最先进的视觉质量。
新手小白，怎么用3d高斯泼溅实现三维建模
05-09
### 使用3D高斯泼溅技术进行三维建模的方法和步骤 #### 准备工作 在开始使用3D高斯泼溅（Gaussian Splatting）技术进行三维建模之前，需要做好充分的准备工作。这包括但不限于安装必要的软件包、准备高质量的数据集以及搭建适合的工作环境。推荐使用的编程语言为Python，并确保已安装如下库：`numpy`, `scipy`, 和 `pytorch` 或者类似的深度学习框架[^1]。 #### 数据采集与预处理 第一步是从多个视角捕捉目标对象或者场景的照片序列。这些照片将作为输入源用于生成初步的结构-from-motion(SfM)点云模型。可以借助开源工具如COLMAP来自动化这一过程。得到的结果是一组带有对应相机参数估计值的空间坐标点集合[^2]。 ```bash colmap feature_extractor --ImageReader.camera_model PINHOLE \ --database_path database.db \ --image_path images/ colmap exhaustive_matcher --database_path database.db mkdir sparse dense colmap mapper --database_path database.db \ --image_path images/ \ --output_path sparse/0 colmap image_undistorter --image_path images/ \ --input_path sparse/0 \ --output_path dense/0 \ --output_type COLMAP ``` 以上命令展示了如何利用Colmap创建基础稀疏点云计算的过程[^3]。 #### 构造3D Gaussians 表达式 接下来的任务就是把这些简单的点扩展成更复杂的实体—即所谓的“gaussian splats”。每一个splat都由几个关键属性描述： - **Mean Vector (μ)**: 定义了该gaussian中心所在的具体位置； - **Covariance Matrix (Σ)**: 描述了围绕着均值方向上的扩散程度； - **Color Information**: 提供关于表面反射特性的信息。 我们可以通过引入一个多层感知机(MLP)，让其学会预测给定条件下的最佳协方差矩阵配置方案，进而改善整体视觉呈现效果的同时保持较高的运行效率[^1]。 #### 参数优化 有了基本的形式化表述之后，则进入到最关键的环节之一 —— 参数调优阶段。这里的目标函数往往包含了多种成分因子，比如重投影误差项、正则化惩罚等等。整个求解路径可能会涉及到交替最小化的策略或者是端到端训练的方式[^4]。 #### 实时渲染实现 当所有的必要组件都被妥善设定完毕以后，就可以着手于最后一个部分也就是新视图合成任务上了。在这个过程中需要注意的是正确实施alpha混合规则以便能够准确反映各层次之间相互遮挡关系。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值