三维场景重建3D高斯点渲染复现

最新推荐文章于 2025-02-18 20:59:50 发布
最新推荐文章于 2025-02-18 20:59:50 发布
阅读量859 收藏 25
点赞数 24
分类专栏： 传知代码论文复现 文章标签： python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Srlua/article/details/144775201
版权


✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

三维场景重建概述

MVSNet

Nerf

3D gaussian-splatting

效果演示

3D gaussian-splatting原理

高斯分布的数学基础

渲染过程

优化与加速

3D Gaussian-splatting模型部署

安装相关依赖

自定义数据集

照片采集

数据转换

模型训练

效果演示

  本文所有资源均可在该地址处获取。

三维场景重建概述

MVSNet

多视图立体视觉网络（MVSNet, Multi-View Stereo Network）是计算机视觉领域中用于从多视角图像中重建3D几何结构的一种深度学习方法。MVSNet通过利用卷积神经网络（CNNs）对输入的多张图像进行特征提取，然后基于这些特征来计算不同视角之间的匹配代价，并构建代价体积（cost volume）。接下来，通过3D卷积操作对这个代价体积进行处理，以预测每个像素的深度值，最终生成稠密的深度图和点云数据。

MVSNet的优势在于它能够自动地从大量未标注的多视角图像中学习到有效的特征表示，从而简化了传统MVS算法中复杂的参数调整过程。此外，由于其基于深度学习的设计，MVSNet还具有较好的泛化能力，可以适应不同类型的场景和摄像机配置。

Nerf

NeRF (Neural Radiance Fields) 是一种革命性的3D场景表示方法，它使用全连接神经网络来隐式地建模场景的辐射场（radiance field），即给定任意位置和观察方向时的颜色和密度。通过在训练过程中优化网络参数，NeRF可以从一组稀疏的2D图像中重建出高质量的3D场景，并支持自由视角的渲染。

NeRF的主要特点是它能够捕捉到非常精细的细节和复杂光照条件下的效果，这得益于其对场景内部结构的连续、分层表示。然而，这种高精度是以较高的计算成本为代价的，因为每次渲染新视角都需要重新评估整个神经网络。此外，NeRF模型通常需要大量的训练时间和存储空间。

3D gaussian-splatting

3D Gaussian-splatting是一种新兴的3D场景表示技术，它将场景中的每个点视为一个带有方向性的高斯分布。这种方法不仅记录了点的位置信息，还包含了颜色、法线方向以及不确定性等属性。相比传统的点云或网格模型，Gaussian-splatting能够在较低的内存占用下提供更加细腻和平滑的表面细节，特别适合于表现具有复杂几何结构和纹理变化的场景。

3D Gaussian-splatting结合了点云的灵活性和体素表示的紧凑性，同时提供了类似于NeRF的高质量渲染结果。更重要的是，它的渲染速度远快于NeRF，且更容易实现动态更新和交互，因此在实时应用中展现出巨大的潜力。

效果演示

3D gaussian-splatting原理

3D Gaussian-splatting的核心思想是将3D空间中的每一个点都用一个多维高斯分布来表示，其中每个高斯分布不仅描述了该点的空间位置，还编码了颜色、法线和其他物理属性。具体来说，一个高斯分布由均值向量μ（代表点的位置）和协方差矩阵Σ（定义了分布的形状和方向）组成。对于彩色高斯分布，还会包含一个额外的颜色向量c。

高斯分布的数学基础

高斯分布是概率论中用来描述随机变量概率分布的一种常见函数，其一维形式如下：
p(x;μ,σ2)=12πσ2e−(x−μ)22σ2p(x;μ,σ2)=2πσ2​1​e−2σ2(x−μ)2​
在3D Gaussian-splatting中，我们使用的实际上是多维高斯分布，它可以写成：p(x;μ,Σ)=1(2π)n/2∣Σ∣1/2e−12(x−μ)TΣ−1(x−μ)p(x;μ,Σ)=(2π)n/2∣Σ∣1/21​e−21​(x−μ)TΣ−1(x−μ)
这里，xx是n维空间中的一个点，μμ是均值向量，ΣΣ是协方差矩阵。

渲染过程

当渲染一个场景时，3D Gaussian-splatting通过以下步骤来合成图像：

投影：首先，根据相机的姿态（位置和朝向），将所有高斯分布投影到图像平面上。这一步骤决定了哪些高斯分布会在最终图像中可见。
累积贡献：对于每个像素，累加所有投影到该像素上的高斯分布的贡献。这是通过计算每个高斯分布在该像素处的概率密度值并乘以其颜色来完成的。
融合与后处理：最后，对所有像素的累积贡献进行融合，得到最终的图像。可能还需要执行一些后处理步骤，如抗锯齿、色调映射等，以提高输出质量。

优化与加速

为了使3D Gaussian-splatting能够高效运行，研究者们提出了一系列优化策略，包括但不限于：

层次结构：构建多层次的数据结构，如八叉树或kd-tree，以便快速查找和剔除远离视线的高斯分布。
重要性采样：在渲染过程中，优先考虑那些对最终图像影响较大的高斯分布，减少不必要的计算。
GPU加速：充分利用现代图形处理器的强大计算能力，加速高斯分布的投影、累积等操作。

3D Gaussian-splatting模型部署

安装相关依赖

1.进入附件下面

conda env create --file environment.yml
conda activate gaussian_splatting

2.安装diff-gaussian-rasterization
下载如下两个项目,将第二个项目放在第一个项目的diff-gaussian-rasterization/third_party/glm

https://github.com/graphdeco-inria/diff-gaussian-rasterization
https://github.com/g-truc/glm/tree/5c46b9c07008ae65cb81ab79cd677ecc1934b903


然后安装依赖

pip install .

3.安装simple-knn
下载如下一个项目

https://gitlab.inria.fr/bkerbl/simple-knn

安装相应依赖

pip install .

自定义数据集

照片采集

你可以随意采取自己附近的物品图片，尽量50+张，放入附件./data/input文件夹下

数据转换

python convert.py -s ./data

模型训练

python train.py -s ./data -m ./output/mydata

效果演示

https://playcanvas.com/supersplat/editor/
将训练完的点云


拖入页面即可

​​

3D高斯泼溅的崛起【三维重建】
新缸中之脑
04-08 6206
3D 高斯分布是计算机图形学中的一项复杂技术，它通过将点或“splats”从点云投影到 3D 空间，并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。该技术支持复杂的依赖于视图的视觉效果，并通过产生动态且逼真的可视化效果超越了传统的点云渲染。今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文，详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节（全文和 git 存储库可在线公开获取），引发了人们对这一主题的新兴。
【视觉三维重建】【论文笔记】高清3D高斯泼溅（Deblurring 3D Gaussian Splatting）
持之以恒
03-10 1464
比经典高斯泼溅更佳高精
室内场景三维重建
09-19
用oencv和openni进行三维图像的重建
NeRF——基于神经辐射场的三维场景重建和理解
知来者逆的博客
03-17 1万+
神经辐射场（NeRF）是一种利用神经网络来表示和渲染复杂的三维场景的方法。它可以从一组二维图片中学习出一个连续的三维函数，这个函数可以给出空间中任意位置和方向上的颜色和密度。通过体积渲染的技术，NeRF可以从任意视角合成出逼真的图像，包括透明和半透明物体
项目合作 | 室内场景三维重建
我爱计算机视觉
08-23 961
52CV的一位粉丝正在寻找三维重建技术供应商，欢迎有相关技术的朋友联系。项目需求：室内场景三维重建项目需求内容：主要依托手机端实现室内场景重建，包括手机端三维数据采集与实时模型构建，支持...
申抒含-基于图像的大规模场景三维重建
03-20
SLAM前沿报告，申抒含-基于图像的大规模场景三维重建。
【三维重建】SpotlessSplats：去除瞬态干扰物的三维高斯喷溅（3DGS）
qq_45752541的博客
08-12 2896
三维高斯喷溅（3DGS）是一种最新的三维重建技术，提供了高效的训练和渲染速度，使其适用于实时应用。然而，目前的方法需要高度控制的环境——没有移动的人或风吹的元素，以及一致的照明——以满足3DGS的视图间一致性假设。这使得重建现实世界的捕获成为问题。我们提出了无斑点斑图，一种利用预训练和通用特征结合鲁棒优化来有效地忽略瞬态干扰物的方法。我们的方法实现了最先进的重建质量。利用神经辐射场（NeRF）和最近的三维高斯喷溅（3DGS）从二维图像中重建三维场景一直是视觉研究的热点。
【三维重建】【SLAM】SplaTAM：基于3D高斯的密集RGB-D SLAM(CVPR 2024)
qq_45752541的博客
02-29 7160
SplaTAM，一个新的SLAM系统，利用3D Gaussian Splatting作为底层map表示，渲染和优化更快，明确的地图空间范围，和流线型的地图稠密化。可以同时优化pose估计、场景重建和新视图合成
【三维重建】Semantic Gaussians:开放词汇的3DGS场景理解
qq_45752541的博客
11-05 2637
开放词汇的三维场景理解是计算机视觉中的一个重大挑战，在具体化代理和增强现实系统中有着广泛的应用。现有的方法采用神经渲染方法作为三维表示，联合优化颜色和语义特征，同时实现渲染和场景理解。本文介绍了一种基于三维高斯溅射的开放词汇场景理解方法语义高斯。我们的关键思想是 将知识从二维预训练模型提取为三维高斯模型 。与现有的方法不同，我们设计了一种通用的投影方法，将预先训练好的图像编码器映射到一个新的三维高斯的语义component ，这是基于空间关系，不需要额外的训练。我们 进一步建立了一个三维语义网络，直接从原始
【三维重建】Pixel-GS:三维高斯泼溅的像素感知的梯度密度控制（去除浮点，提升精度）
qq_45752541的博客
08-12 2971
三维高斯溅射（3DGS）在提高实时渲染性能的同时，展示了令人印象深刻的新视图合成性能。然而，它的有效性在很大程度上依赖于初始点云的质量，导致在初始化点不足的区域出现模糊和针状伪影（ needle-like artifacts）。这个问题主要是由于点云的增长条件，它只考虑了可观测视点的splats的平均梯度大小，因此对于许多只覆盖在边界内的可观测的大高斯值无法增长。为了解决这个问题，Pixel-GS将被覆盖的像素数，视为动态平均不同视角的梯度的权重，从而促进大高斯分布的增长。
新手小白第一次复现3D高斯&3DGS复现全流程&3D Gaussian Splatting&cudatoolkit=11.6报错解决&Linux安装colmap编译环节报错解决&点云ply文件可视化
青竹小轩的博客
01-06 2323
3DGS&3D Gaussian Splatting &Linux系统无法播放MP4视频？ &读入 PNG 图像文件时发生严重错误：Not a PNG file ＆纯文本界面、图形界面切换 &Ubuntu 20.04.3 LTS更新显卡驱动遇到纯黑的/闪光标的黑屏解决&安装colmap编译环节报错：“undefined reference to `TIFFReadRGBAImage@LIBTIFF_4.0'”&解决报错：由于找不到cudart64_12.dll，无法继续执行代码&点云ply文件可视化
三维重建(单目、双目、多目、点云、SFM、SLAM)
热门推荐
ZhengrongYue的博客
03-08 7万+
三维重建(单目、双目、多目、点云、SFM、SLAM)
三维场景重建整合笔记
x3464的博客
11-02 6891
近年来，随着智能手机、头盔立体显示等技术的发展和 普及，虚拟现实技术取得了飞速发展。在 VR 技术中场景建 模是最关键的一步。3D 游戏通常采用专业三维建模软件， 如 Autodesk Maya、Autodesk 3ds Max 等进行建模，此方法 耗时耗力，所建模型为虚拟场景。对真实场景一般需要借助 专业三维扫描设备，此方法测量精度高，但设备价格昂贵， 不利于大范围推广。为此本文将多视图三维重建技术应用于 VR，实现真实场景的建模。该方法直接从多个视角的 2D 图 像提取场景的三维信息，数据采集简单快捷，
三维重建介绍
qq_49221482的博客
07-04 3451
三维重建（3D reconstruction）是一种通过分析和处理从不同视角拍摄的二维图像，重建出物体或场景的三维结构的技术。它广泛应用于计算机视觉、机器人学、医学成像、虚拟现实和增强现实等领域。
NeRF神经辐射场渲染过程详解，三维重建渲染过程基本原理_光线采样sample_pdf()和光线渲染render_rays ()代码详解
qq_35831906的博客
11-03 3200
rending.py 主要用于神经体积渲染（NeRF）方面的工作。它实现了光线在空间中的渲染和采样，结合了深度学习模型和光线投射技术，用于从数据中合成逼真的三维场景。代码主要包含两个主要函数：sample_pdf 函数用于根据权重（weights）的分布从 bins 中采样 N_importance 个样本。此函数用于在体积渲染中对rending.py光线采样进行处理。 render_rays 函数是执行光线渲染的主函数。它接受NeRF模型、嵌入模型、光线的起始点和方向等参数，执行光线渲染
三维重建基础
weixin_34034261的博客
06-01 2947
三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。 1.1 研究背景及意义 人类通过双眼来探索与发现世界。人类接收外部信息的方式中，有不到三成来自于听觉、触觉、嗅觉等感受器官，而超过七成、最丰...
3D高斯渲染：实时场景新突破
XianxinMao的博客
02-18 811
3D Gaussian Splatting 是一种革命性的3D场景表示与实时图像渲染技术，通过非深度学习的方法实现高质量视觉效果。其核心在于利用 Structure from Motion (SfM) 技术生成稀疏点云，并通过优化3D高斯分布的参数（如均值、协方差矩阵、颜色和透明度）来实现渲染。该技术具有自适应密度调整机制，能够在细节丰富区域增加高斯分布，在简单区域减少分布，从而在内存占用和渲染质量之间取得平衡。3D Gaussian Splatting 在虚拟现实、增强现实、3D建模与动画等领域展现了巨大
【三维重建】VastGaussian:用于大场景重建的大3D Gaussian(CVPR 2024)
qq_45752541的博客
03-04 8761
VastGaussian：基于3D GS的分块优化重建：引入了渐进式数据划分策略，允许独立的单元优化和无缝合并，获得具有足够三维高斯分布的完整场景。解耦外观建模消除了训练图像中的外观变化，实现了不同视图之间的一致渲染
高斯模糊实现&RenderScript(渲染脚本)
musk6的博客
04-01 1047
----- github 开源工具 点击打开链接 ----- 代码 private void blueAndCompress(final ImageView imageView, final String tag) { Bitmap bitmap = BitmapFactory.decodeResource(getResources(), R.drawable.ic
3D高斯泼溅
最新发布
03-12
<think>好的，用户想了解如何实现3D高斯泼溅效果。首先，我需要明确用户的需求。3D高斯泼溅效果可能指的是在三维空间中模拟类似液体飞溅的效果，使用高斯分布来渲染粒子，使其看起来更自然。这可能用于游戏特效、科学可视化或动画制作。 接下来，我需要回忆相关的图形学知识。高斯泼溅通常涉及粒子系统，每个粒子的渲染可能使用高斯核函数来控制透明度和扩散范围。在三维空间中，需要处理粒子的位置、大小、透明度以及可能的动态变化，比如速度、衰减等。 然后，考虑实现步骤。可能需要以下步骤：初始化粒子系统，定义粒子属性，更新粒子状态（如位置、大小、透明度），使用着色器进行渲染，以及优化性能。同时，用户可能需要具体的代码示例或教程参考，但根据引用内容，用户提供的引用似乎与游戏开发框架相关，比如Unreal Engine的GameplayEffects和AbilitySystemComponent的改动，但不太直接相关。不过，引用3提到的RMI命令对象可能与分布式计算有关，可能不相关，但需要确认。 接下来，我需要确保回答符合用户的要求：结构清晰，分步解决，使用正确的中文和LaTeX格式。同时，生成相关问题，并正确添加引用标识。需要检查是否有引用内容可以关联，但用户提供的引用似乎更多关于游戏框架的更新，可能与3D高斯泼溅的实现关联不大，但可能在性能优化或粒子系统部分提到相关点，比如客户端预测或粒子效果优化，可能需要引用[^1]或[^2]。 然后，考虑用户可能的背景。用户可能有一定的编程和图形学基础，但需要具体的实现指导。可能需要推荐使用现有的引擎（如Unity或Unreal）的粒子系统，或者用WebGL/Three.js实现。同时，代码示例可能需要用Python或C++，但根据用户提供的示例中的Python代码，可能倾向于提供Python示例，但实际3D渲染可能更多使用GLSL或C++。需要权衡。 另外，需要确保LaTeX格式正确，例如数学公式用$...$或$$...$$。例如，高斯函数可以写成$G(x,y,z) = \frac{1}{(2\pi)^{3/2}\sigma^3}e^{-\frac{(x^2+y^2+z^2)}{2\sigma^2}}$。 然后，思考如何分步骤讲解：粒子系统初始化、高斯渲染、动态控制、着色器编写等。每个步骤需要简明扼要，并提供关键代码片段，比如使用Three.js或Unity的示例。 在生成相关问题时，需要考虑用户可能进一步的问题，比如性能优化、不同引擎的实现差异、数学原理的深入等。 最后，检查是否符合所有系统级指令，尤其是引用添加是否正确。虽然用户提供的引用可能与主题关联不大，但可能在优化或粒子效果部分提及，比如引用提到客户端预测对效果时间的处理，可能与粒子生命周期管理有关，可以适当关联。</think>### 3D高斯泼溅效果实现原理 3D高斯泼溅效果的核心是通过粒子系统模拟流体或能量扩散的动态过程，使用高斯函数$G(x,y,z) = \frac{1}{(2\pi)^{3/2}\sigma^3}e^{-\frac{(x^2+y^2+z^2)}{2\sigma^2}}$控制粒子透明度和扩散范围。以下是实现步骤： #### 1. 粒子系统初始化 - **粒子属性**：每个粒子包含位置$P(x,y,z)$、速度$V(v_x,v_y,v_z)$、生命周期$T$、初始大小$S$和透明度$\alpha$ - **发射器设计**：定义发射位置、方向范围和初始速度 ```python class Particle: def __init__(self): self.position = Vector3() self.velocity = Vector3() self.lifetime = 5.0 # 单位：秒 self.size = 1.0 self.alpha = 1.0 ``` #### 2. 高斯渲染计算 在片段着色器中实现高斯衰减（以GLSL为例）： ```glsl float gaussian(vec3 pos, vec3 center, float sigma) { float r = distance(pos, center); return exp(-r*r/(2.0*sigma*sigma)); } void main() { float alpha = gaussian(fragPos, particleCenter, 0.5); gl_FragColor = vec4(color, alpha * baseAlpha); } ``` #### 3. 动态控制优化 - **速度衰减**：$$V(t) = V_0 \cdot e^{-kt}$$ - **大小渐变**：$$S(t) = S_0 \cdot (1 - \frac{t}{T})^2$$ - **粒子碰撞**：采用Signed Distance Fields (SDF)检测表面交互 #### 4. 性能优化技巧 - 使用GPU Instancing批量渲染粒子 - 通过LOD系统动态调整粒子密度 - 采用空间分区算法加速碰撞检测 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值