3D Gaussian Splatting 论文学习

概述

目前比较常见的渲染方法大致可以分为2种：

1. 将场景中的物体投影到渲染平面：传统的渲染管线就是这种方式，主要针对Mesh数据，可以将顶点直接投影成2D的形式，配合光栅化、深度测试、Alpha混合等就可以得到渲染的图像。
2. 从相机到像素发出一条射线与场景物体交互去计算沿着射线的颜色积分：例如光线追踪，去计算光线和Mesh的光学行为（反射等）来得到像素的颜色值；或是体渲染，对于体数据或是隐式的场景表达（NeRF）通过采样的方式来计算一个光线上的离散的积分，得到最终的颜色。

隐式的场景表达因为其连续性天然具有可微性，比较适合放在优化框架中去使用，但是在渲染时由于需要随机采样，会浪费大量时间在无效的采样点上。3D高斯这个方法则结合了连续可微和投影后光栅化渲染的优势，实现了高质量的实时渲染效果。

接下来我以一些关键知识点为章节来进行总结：

3D高斯表示

3D高斯实际上就是点云+概率密度，使得场景离散化表示的同时对不存在顶点的空间有了连续的颜色变化。一个高斯球的数学形式可以表示为
$$G(x)=\exp (-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
其中$\Sigma$是协方差矩阵，$\mu$是高斯球的重心坐标（均值）。论文中省略了高斯分布的归一化系数，这是因为我们并不需要得到严格的概率分布，只需要表达对空间的相对影响就行了。协方差矩阵$\Sigma$是一个正定对称矩阵，是场景学习时的优化参数，如果直接优化一个3x3的矩阵很难满足高斯分布的性质，因此往往将其分解为旋转矩阵$R$和缩放矩阵$S$，即
$$\Sigma =RS{S}^T{R}^{}$$