qq_39374874的博客

论文：3D Gaussian Splatting for Real-Time Radiance Field Rendering。

此文记录个人学习过程，如有错误请与我私信联系。工欲善其事必先利其器，作为第一次踏入该领域的新人，博主刚开始阅读这篇论文十分困难（该还给老师的都还了）。因此，整理了一些预备知识，以便更好理解相关论文，如有补充，欢迎私信。其中，某些部分需要大量公式，本博客并未一一列举，且部分算法也并未详细展开，待后续有时间继续补充（由于时间有限，splatting以及CG相关知识只是做了简单理解，便于对我们论文立即。

由于我的研究方向是3D-GS方面，但是没有接触过，所以先看了3D-GS之前的技术NeRF，算是一个入门了解。接下来会猛攻3D-GS方面，但是我不做渲染和重建，主做3D-GS感知。明天开始看论文，当然3D-GS这部分代码也会详细看，如果可以的话，希望出一个代码详解。

得到模型的输出后，需要利用这些信息进行体渲染，得到一张新的图片，这个过程为了便于理解我们称为后处理过程，那么后处理过程包括：层次采样+体渲染。

这个模型，第一次输出概率密度和颜色后，根据概率密度进行逆变换采样，再次采样128个粒子（还是对相同的射线，有点重要性采样的意思），这样第二次输入模型的采样点变为192个粒子。从论文中给出的模型示意图，我们可以看出物体的密度是与观测角度无关的，但是颜色是与其是有关的。最后，模型输出4D向量，再根据这些信息进行体渲染，就可以得到一张新的图片。NeRF整体模型通过全连接层进行构建的，单从模型角度来说并不复杂。

不同视角的图片怎么输入到NeRF中的神经网络中，也即是图片怎么转换为论文中提到的5D向量，我们将这部分看为模型的预处理部分；其次，论文中还提到了低纬向量输入到模型中，细节信息会丢失，因此预处理部分还包括了将5D低纬信息扩展到高维信息，即位置编码。

该篇为理解NeRF的预备知识，主要包括了相机成像原理、基本渲染知识以及逆变换相关知识。