【反渲染高斯】GS-IR: 3D Gaussian Splatting for Inverse Rendering

概要

会有自己的理解PS，不保证正确，欢迎评论中指出错误。
我们提出了一种基于3D高斯溅射(GS)的新型反向渲染方法GS-IR，它利用前向映射体渲染forward mapping volume rendering来实现逼真的新视图合成和重照明结果。与先前使用隐式神经表征和体绘制(例如NeRF)的工作不同，这些工作具有低表达能力和高计算复杂性，我们扩展了GS，这是一种用于新视图合成的高性能表征，可以从未知光照条件下捕获的多视图图像中估计场景几何、表面材料和环境照明。将GS引入到反向渲染中存在两个主要问题:
1)GS不支持生成可信的原生法线
;2)前向映射(如栅格化和飞溅)不能像后向映射(如光线追踪)那样跟踪遮挡。为了解决这些挑战，我们的GS-IR提出了一种有效的优化方案，该方案结合了基于深度衍生的正则化法用于正态估计和基于烘烤的遮挡法来模拟间接照明depth-derivationbased regularization。灵活和富有表现力的GS表示使我们能够实现快速和紧凑的几何重建，逼真的新视图合成和有效的基于物理的渲染。
PS: 前向映射：是三维物体投影到画布上
后向映射是下图image plane 发射射线，确定射线的颜色

我们通过对各种具有挑战性的场景进行定性和定量评估，证明了我们的方法优于基线方法。源代码可从https://github.com/lzhnb/GS-IR获得。

intro

反向渲染是一项由来已久的任务，旨在回答以下问题： "（如如何从多视角图像中推导出三维场景的物理属性（如几何、材质和照明）？

这个问题本身就具有挑战性和不确定性，尤其是当输入图像是在光照未知的不可控环境中捕获的时候。最近的研究[9, 10, 33, 44]试图通过采用类似于 NeRF [27] 的隐式神经表征（利用多层感知器 (MLP)）来解决这一问题。然而，目前采用 MLP 的方法面临着表达能力低和计算需求高的挑战，这极大地限制了反向渲染的效果和效率，尤其是在无法以交互速率 interactive rates进行渲染的情况下。三维高斯拼接（GS）[23] 是最近出现的一种很有前途的技术，它可以对三维静态场景进行建模，并将渲染速度大大提高到实时水平。它使场景表示更加紧凑，
PS：紧凑可能是相对于点云，gs有体积能够一个贴着一个，空隙小？
并为新颖的视图合成实现了快速和顶级性能。将其引入反渲染流水线是自然和必要的，包括几何重建、材料分解和光照估计。

鉴于复杂场景的多视图捕获图像，我们提出了GS-IR (3D高斯溅射反演渲染)，它利用3D高斯和前向映射溅射来恢复高质量的物理属性(例如，法线，材料，照明)。这使我们能够执行重照明和材料编辑，从而产生出色的反向渲染结果。放大后的屏幕观看效果更好，尤其是自行车车轴的材料分解和正常重建效果显著。

不像nerf里的光线追踪，高斯模型在稀疏点周围生成一组三维高斯。在高斯优化过程中**，高斯密度的自适应控制可能会导致几何结构松散**，从而难以准确估计场景的法线。因此，有必要引入一种精心设计的策略来规范 GS 的法线估算。我们的目标是使用三维高斯作为场景表示，对未知光照条件下捕获的多视角图像进行反渲染。然而，在自然光照条件下捕捉观测结果往往会产生复杂的效果，如柔和的阴影和相互反射。TensoIR [21] 利用 NeRF 的光线追踪技术直接为遮挡和间接光照建模。相比之下，3D GS 用可微分前向映射体积渲染取代了 NeRF 中的光线追踪，直接将 3D 高斯投射到 2D 平面上。这种策略提高了渲染效率，但却难以计算遮挡。受实时渲染中使用的 “间接照明缓存”[4] 的启发，我们尝试将==遮挡烘焙到体积中进行缓存==。在本文中，我们提出了一种新颖的基于三维高斯的反渲染框架，称为 GS-IR（三维高斯拼接反渲染），它利用前向映射拼接来推断复杂场景的物理属性。据我们所知，我们的方法是首个将 GS 技术引入反渲染的工作，它可以同时估算场景几何、材质、颜色、色彩、颜色和颜色的物理属性。
PS：
在计算机图形学和三维图形领域，“bake” 一词通常指的是将高级别的信息（例如光照、纹理、阴影）转换为纹理贴图或其他形式的数据，以便在渲染过程中更高效地使用。
“Baking” 过程的目的是为了减轻实时渲染引擎的计算负担，特别是在游戏开发中。通过在预处理阶段计算并存储某些效果，可以在运行时更迅速地呈现图形。例如，光照贴图可以在烘焙时计算，然后在实时渲染中使用，避免了每帧都重新计算光照的开销

• 我们提出的 GS-IR 可将场景建模为一组三维高斯，从而实现基于物理的渲染，并为物体和场景提供最先进的分解结果；
• 我们提出了一种高效的正则化优化方案，可将深度梯度集中在 GS 周围，并为 GS-IR 生成可靠的法线；-
• 我们开发了一种嵌入 GS-IR 的基于烘焙的方法，以处理间接照明建模中的遮挡问题；

总结

鉴于复杂场景的多视角捕捉图像，我们提出了 GS-IR（用于反渲染的三维高斯拼接），它利用三维高斯和前向映射拼接来恢复高质量的物理属性（如法线、材质、光照）。这使我们能够执行重新照明和材质编辑，从而获得出色的反渲染效果。在屏幕上放大观看效果更佳，尤其是自行车车轴的出色材质分解和法线重建。
我们提出的 GS-IR 是一种基于三维高斯拼接（GS）的新型反渲染方法，它采用前向映射体积渲染来实现逼真的新型视图合成和重新照明效果。具体来说，我们的 GS-IR 提出了一种高效的优化方案，该方案采用**基于深度衍生的正则化来进行法线估算，并采用基于烘焙的遮挡来模拟间接照明**。这些组件最终被用于分解材料和照明。我们的大量实验证明，GS-IR 能有效实现最先进的反向渲染效果，在重建质量和效率方面都超越了以前的神经方法。

相关工作

Inverse Rendering

反渲染的目的是将图像的外观分解为几何形状、材料属性和照明条件。考虑到观察到的图像与底层场景属性之间固有的模糊性，许多方法被提出，并采用了不同的限制设置，如用固定照明和旋转物体捕捉图像 [16, 36]，用移动相机和同位照明捕捉图像 [7, 8, 26, 30]。结合神经表征，反渲染模拟场景，模拟光线如何与具有不同材料属性的神经体相互作用，并在优化过程中估计照明和材料参数[6、9、10、19、21、33、40、42、44、45]。神经反射场[6]假定有一个已知的点光源，并将场景表示为一个由体积密度、表面法线和双向反射分布函数（BRDF）组成的场，其中有一个反弹直射照明bounce direct illumination。NeRV [33] 和 InvRender [45] 扩展到任意已知照明条件，并训练额外的 MLP 来模拟光的可见性。PhySG [40] 假设光源完全可见，不进行阴影模拟，并用球形高斯表示照明和场景 BRDF，以加快速度。TensoIR [21] 采用高效的 TensoRF [14] 表示法，可通过光线追踪计算可见度和间接照明，但仅限于对象级。在这项工作中，我们提出了一种基于 GS 的管道，用于恢复几何图形、材质和光照。

pre

在本节中，我们将提供技术背景和数学符号，这些都是在后续章节中介绍我们所建议的方法所必需的。

3D高斯飞溅(3D Gaussian splplatting, GS)[23]是一种以点云形式的显式3D场景表示。每个点都用高斯函数g表示，它近似于钟形曲线的形状，定义为:

其中，µ∈R 3为其均值向量，Σ∈R 3×3为各向异性协方差矩阵。将三维高斯函数的平均向量µ参数化为µ=(µx，µy，µz)，协方差矩阵Σ分解为缩放矩阵S和旋转矩阵R Σ = RSS^TR^T。S和R表示对角矩阵diag(sx, sy, sz)和由单位四元数q构成的旋转矩阵。给定一个具有外在矩阵T和内在矩阵K的观看变换，则从三维点x到二维像素u的平均向量µ和协方差矩阵Σ’定义为:

其中J是透视投影的仿射近似的雅可比矩阵。此外，每个高斯函数通过一组球面谐波(SH)系数表示与视图相关的颜色ci，然后乘以不透明度α进行体渲染。最后根据Eq.(1)和Eq.(2)得到像素u处的颜色C.

其中累计透射率Ti量化了像素u处第i次高斯的概率密度。

在GS-IR中，我们利用经典的渲染方程来制定表面点x的法向n的出射亮度:

Ω为以x为中心的上半球，l和v分别为入射方向和观察方向。Li(x,l)表示从l处接收到x处的辐射。值得注意的是，我们遵循==Cook-Torrance microfacet==模型[15,35]，并将双向反射分布函数(BRDF) fr表示为**反照率a∈[0,1]3，金属m∈[0,1]，粗糙度ρ∈[0,1]**的函数:

其中，微面分布函数D、菲涅耳反射F和几何阴影因子G与表面粗糙度ρ有关。我们使用三维高斯函数在GS-IR中存储这些材料属性。

Method

给定一组经过校准的RGB图像 { I m } m M = 1 \{I_m\}^M _m =1 {Im​}mM​=1的目标场景，在静态的，但未知的照明下，反向渲染旨在分解场景的内在属性，包括法线，材料和照明。这种分解有助于目标场景的恢复和后续版本。由于GS在质量和速度上的卓越表现[23]，我们提出了一个由三个精心设计的阶段策略组成的新框架GS- IR，如图2所示。

在初始阶段，我们利用可微喷溅来优化三维高斯。同时，我们利用从渲染深度图派生的梯度来监督存储在三维高斯曲线中的法线(参见4.1。)。在第二阶段，我们根据学习到的几何信息(即深度和法线)预先计算遮挡，并将其存储在一个高效的基于球面谐波的架构中，以模拟间接照明(参见4.2。)。在最后阶段，我们将可微分喷溅与基于物理的渲染(PBR)管道相结合，以优化照明和材料感知的3D高斯(参见。4.3秒。)。

GS-IR 管道。我们提出了一种新颖的基于高斯的反渲染框架，称为 GS-IR，用于从多视角捕捉的图像中重建场景几何、材质和未知的自然光照。我们的 GS-IR 包括三个精心设计的阶段策略，使用三维高斯和可微分前向映射拼接来实现基于物理的渲染。在我们的方法中，高斯不仅存储了基本的 GS 信息，还存储了法线和材料属性，从而增强了反渲染任务的能力。

nomal的重建

在初始阶段，我们优化了三维高斯函数，用于从观测图像中重建几何形状，记为G。

优化后的G函数作为曲面点及其对应法线n的几何代理，这对于成功的逆绘制至关重要。正如第1节所强调的，在基于gs的框架内生成合理的法线是一项重大挑战。为了解决这个问题，我们引入了一种直观的策略来提高深度D，并利用深度梯度来推导伪法线${\hat{n}}_{\hat{D}}={\nabla }_{uv}\hat{D}$。这些伪法线然后指导法线在3D高斯内的优化。

深度生成

给定预训练的三维高斯图 G 和指定用于渲染的视图，该视图中像素的阴影结果pixel’s shading results可通过公式 (3) 得出。因此，利用相同的体积累积来计算深度 $\hat{D}={\sum }_{i=1}^n{T}_i{\alpha }_i{d}_i$是合理的，其中 di 表示相应三维高斯到图像平面的距离。然而，与 NeRF 中使用的后向映射体积渲染不同，我们在体积累积过程中观察到了浮动问题。在高斯优化过程中，高斯密度的自适应控制可能会导致深度落在三维高斯的前面，从而给准确预测深度带来挑战。具体来说，后向映射方法只需考虑峰值样本即可获得准确的深度，即$\hat{D}=d_i$，其中$i^{\ast }=argma{x}_i{w}_i$。然而，对于 GS（一种典型的前向映射方法），峰值选择会导致 GS 内的圆盘混叠。为了克服这一限制，我们认为深度$\hat{D}$必须介于三维高斯到图像平面的最小距离和最大距离之间，如图 3 所示。然后，我们将深度视为三维高斯到图像平面距离的线性插值：

图2。GS-IR管道。我们提出了一种新的基于gs的反向渲染框架，称为GS-IR，用于从多视图捕获的图像中重建场景几何，材料和未知的自然光照。我们的GS-IR由三个精心设计的阶段策略组成，使用3D高斯和可微前向映射飞溅来实现基于物理的渲染。在我们的方法中，高斯函数不仅存储基本的GS信息，还存储法线和材料属性，增强了其逆渲染任务的能力
PS：
Inderect illumination 是光照上去之后反射的光的照明
Occlusion是环境光的照明，但是带遮挡

渲染方程

图3。深度图。通过将深度作为三维高斯点到图像平面距离的线性插值，并保证其位于最小和最大距离之间，我们的方法可以得到准确的深度

法线推导

虽然在高斯范围内对深度进行精确预测能为法线重建提供更好的指导，但直接使用深度梯度生成法线有两个局限，仍然无法满足有效反渲染的要求。首先，深度梯度估算对噪声非常敏感，使得预测的法线往往噪声极大；其次，根据每个视图的深度图单独得出的法线无法满足多视图一致性的要求。为了解决这些问题，我们使用高斯 G 作为法线估计的参数，
PS:怎么用G估计呢？
而不是直接使用深度梯度。得益于高斯的高效性，我们只需进行一次渲染，就能获得观察视图的深度\hat{D} 和法线 \hat{n} 。然后，我们使用简单的惩罚将这些预测的伪法线与底层深度梯度法线\hat{n}_{\hat{D} } 联系起来：

PS:这水印怎么去啊

其中， $\hat{D}={\sum }_{i=1}^n{T}_i{\alpha }_i{d}_i$是存储在三维高斯中的法线。其次，与将 MLP 作为低通滤波器的基于 MLP 的法线估计[21]不同，高斯 G 的预测法线是粗糙的，因此应包含平滑正则化。我们引入 TV 项来平滑预测法线\hat{n}

PS: total varians

图4。烘烤。我们采用球面谐波(SH)架构来烘烤遮挡体来模拟间接照明。对于遮挡体的每个网格，我们最初使用3D高斯函数通过执行六次前向映射飞溅通道来计算深度立方体图。接下来，我们将深度立方体图转换为基于距离阈值的二进制遮挡立方体图。最后，遮挡立方体贴图被烘烤为SH系数，使得遮挡立方体贴图在场景内的任何点都能有效的插值。PS：球谐光照模型，这个前面说了bake的意思

间接照明建模

从电子游戏产业中预计算技术的成功实施中获得灵感。

在Blender中的Irradiance Volume[3]，在Unreal中的Lightmass Volume[1]，以及在Unity中的Light Probes[2]中，我们引入了球面谐波(SH)架构来存储遮挡信息和模拟间接照明。

给定从一个阶段优化的三维高斯函数G(参见第4.1节)，我们冻结G，并在3D空间中定期放置遮挡体$v_i^{occl}$。对于每个卷$v_i^{occl}\in V^{occl}$，我们将遮挡以xi的SH系数的形式缓存。因此，v occl i对(θ， ϕ)方向的遮挡O(·)的公式表示为:

式中deg为SH的度，{Ylm(·)}为SH的实基集合。

正如第4.1节所讨论的，GS技术采用前向映射方法，将3D点投影到2D平面，与NeRF中使用的后向映射体渲染形成对比，这意味着它不能使用射线推进来计算遮挡。 it cannot use ray marching to calculate occlusions
==为了预先计算遮挡体$v_i^{occl}$的SH系数，我们通过执行六次渲染通道获得深度立方体地图 { D p i } p 6 = 1 \{D^i_p\}^6_p=1 {Dpi​}p6​=1，每个立方体地图cubemap的面一次。然后，我们根据手动设置的距离阈值将其转换为二进制遮挡立方体图 { O p i } p 6 = 1 \{O^i_p\}^6_p=1 {Opi​}p6​=1
最后，我们使用SH基对遮挡立方体图 { O p i } p 6 = 1 \{O^i_p\}^6_p=1 {Opi​}p6​=1进行卷积，得到SH系数fi:

其中s²为单位球，φ O(θ， φ)为遮挡立方体图{φ Oi p} 6 p=1中的遮挡查询。

注意，我们并行计算了Eq.(11)中的卷积。缓存过程如图4所示。

为了处理遮挡区域的间接照明，我们还保持了照明体积V来缓存间接照明。与遮挡体的缓存过程类似，照明体的缓存目标从遮挡立方体图{{I I p} 6p =1变为捕获的环境立方体图{{I I p} 6p =1。这些立方体地图可以通过执行六次渲染通道同时获得。详情请参阅附录。

内在的分解

在最后阶段，我们采用可微喷溅结合PBR管道来完成内在分解。根据Eq.(5)，将渲染方程Eq.(4)改写为漫射Ld和镜面Ls分量:、

PS：Lo是什么

在GS-IR中，我们采用基于图像的照明(IBL)模型和分和近似[22]来处理难以处理的积分。为了计算漫射分量Ld，定义光照Id为

其中，第一要素表示直接照明，第二要素表示间接照明。值得注意的是，我们基于烘焙的间接照明模型使我们能够在线计算遮挡和照明。这意味着我们的GSIR在保持实时渲染性能的同时实现了内在分解。对于镜面分量Ls，我们采用拆分和近似，并将积分视为两个独立的积分:

其中R和i都可以提前计算并存储在查找表中。
PS:
通过Eq.(13)和Eq. (14)， Eq.(12)的渲染结果可以表示为:

图5 张索合成材料的定性比较。我们将GSIR和基线方法在两个场景上的估计正常、反照率和渲染结果可视化。通过利用高效的三维高斯表示和鲁棒的基于tile的光栅化器，GS-IR实现了快速收敛并支持实时渲染。这种性能优势强调了我们的方法在解决复杂的反向渲染任务方面的有效性，从而超越了现有的最先进的方法。(对于反照率重建结果，我们遵循NeRFactor[44]，用全局标量缩放每个RGB通道。)## 创建一个表格
PS: albedo 本来的意思是反照率，就是出射比入射。直接用就是albedo=0，光照上去以后，被完全吸收。可以想纯黑的物体你看不到他有什么形状。albedo同理，不过带上颜色。
一个简单的表格是这么创建的：
对于本然分解，我们通过最小化漫反射损失Ld来优化存储在三维高斯图G、环境图E和照明体积$V^{illu}$中的材料M(即反照率a、金属值M和粗糙度ρ):
其中Lshade表示阴影损失。${\hat{I}}^{shade}(\hat{M},\hat{E},\widehat{V^{illu}})$是根据式(15)使用PBR管道，然后根据式(3)进行体绘制进行累积的恢复图像。Lmaterial和Llight分别为材料TV损耗和照明TV损耗，其中TV(·)的定义可在式(8)中找到。

实验

图6。Mip-NeRF 360上新的视图合成结果。
GS-IR可以重构几何法线和高频外观等场景细节，呈现高保真外观，恢复树叶、自行车车轴等精细几何细节。放大后的屏幕效果更好。

我们使用TensoIR Synthetic[21]和Mip-NeRF 360[5]的基准数据集进行实验，对物体和场景进行分解。它们分别包含4个具有参考材料的对象和7个公开可用的场景。为了验证我们正常重建的有效性，我们对正常质量进行了评估使用平均角度误差(MAE)的TensoIR合成数据集[21]。我们在合成数据集上进一步评估重建的反照率质量。更一般地说，我们根据峰值信噪比(PSNR)、结构相似指数度量(SSIM)和学习感知图像斑块相似度(LPIPS)来评估这两个数据集上合成的新视图[43]。注意，反照率质量评估使用与新视图合成相同的度量

比较

我们对最先进的基于神经场的逆向渲染方法进行了全面的比较公共TensoIR合成数据集[21]。所有方法都利用在未知光照条件下捕获的多视图图像。我们的评估包括正常质量(由MAE测量)、新视图合成、反照率保真度、重照效果(由PSNR、SSIM和LPIPS测量)和效率。表1总结了合成数据集的定量比较。与基线方法相比，我们的方法在新视图合成和反照率质量方面取得了卓越的性能，证明了材料分解和PBR渲染的有效性，特别是考虑到我们的正常重建略低于TensoIR。我们的照明性能排名第二，仅次于TensoIR。值得注意的是，我们的GS-IR的平均训练时间加快了5倍，使其性能可以接受，并证明了我们的方法在处理复杂的反向渲染任务方面的有效性。

我们还在图5中进行了定性比较，这表明我们的GS-IR产生了合理的反照率和逼真的渲染，比大多数方法更接近地面真相。

表1。TensoIR合成数据集的定量比较。我们的方法在新视图合成和反照率质量方面优于基线方法，展示了材料分解和PBR渲染的有效性。这是特别值得注意的，考虑到我们的正常重建略低于TensoIR。在光照性能方面，我们排名第二，仅次于TensoIR。重要的是，我们的GS-IR的平均训练时间加快了5倍，使其性能可以接受，并进一步证明了我们的方法在处理复杂的反向渲染任务方面的有效性

mip - nerf360的定量比较。结果表明，我们的基于物理的反向渲染方法是有效的

同时，由于我们更高效、紧凑的表示和强大的表现力，我们的方法在复杂的真实无界场景上表现出了显著的性能[5]。表2给出了在真实数据集上的定量比较。图6展示了在真实数据集上的正常重建和新视图合成。

我们的方法呈现了高保真的外观，并恢复了精细的几何细节，例如叶子和自行车轴上的几何细节。总之，通过利用高效的3D高斯表示和强大的基于tile的光栅化器，GSIR实现了快速收敛并支持实时渲染。这种性能优势突出了我们的方法在处理复杂的反向渲染任务方面的有效性，优于现有的最先进的方法。

图7。不同策略产生的深度视觉对比。GS-IR采用线性插值，克服了浮动问题和盘盘混叠问题。

消融研究

我们首先介绍了GS技术在GS- ir中的逆绘制，并提出了基于深度衍生的正态正则化和基于烘焙的方法来解决在此过程中遇到的挑战。来评估

重新打光可视化。我们使用从我们的GS-IR方法中恢复的几何形状，材料和照明属性对合成和真实场景进行重新照明实验。我们在不同的光照条件和方向下测试了我们的方法。

**环境遮挡可视化。**可视化突出了我们的GS-IR方法捕获的复杂阴影和遮挡细节，强调了我们的方法在间接照明建模中的性能。为了验证我们提出的方案的有效性，我们在TensoIR Synthetic[21]和Mip-NeRF 360[5]数据集上设计了详细的实验，全面了解我们的方法在处理复杂的反向渲染任务方面的有效性。下面是正态正则化和间接照明的详细烧蚀研究。

可靠的正态估计是进行反演绘制的关键。为此，我们提出了基于深度衍生的正则化，以促进基于高斯的三维正态估计，如第4.1节所述。在本节中，我们将探讨不同的获取方案对最终正常质量和反向渲染结果的影响。表3所示的定量结果表明，使用三维高斯作为正态代理并采用线性插值策略可以显著改善正态估计和逆渲染结果。g 3D Gaussians as normalproxy and adopting the linear interpolation strategy significantly improves the normal estimation and inverse rendering results.此外，图7定性地表明，进行体积堆积会导致floater问题(参见图7)。图7 (b))。尽管峰值选择克服了这个问题，但它引入了磁盘混叠disc aliasing(参见。图7 ©)。

与之相比，GS-IR中采用的线性插值方法鲁棒地产生了精确的深度(参见。图7 (d))。

为了证明我们的间接照明模型的有效性，我们将我们的方法与两种变体进行了比较:没有遮挡体积(w/o遮挡)的模型和没有间接照明的模型照明(无间接照明)。表4所示的定量比较表明，每个组件对于估算准确的材料分解和生成逼真的渲染结果至关重要。此外，图9展示了合成场景和真实场景下的环境遮挡可视化。可视化突出了我们的GS-IR方法捕获的复杂阴影和遮挡细节，强调了我们的方法在间接照明建模中的性能。这一分析进一步支持了使用遮挡体积和引入间接照明来增强我们的GS-IR分解能力的有效性。

5.3. 我们使用从我们的GS-IR方法中恢复的几何形状，材料和照明进行重照明实验。

我们在不同的光照条件和光照方向下测试GS-IR，观察重建场景对光照变化的响应。实验结果表明，我们的GS-IR方法可以有效地处理重照明应用，在各种照明条件下产生逼真的渲染效果。更多的结果可以在补充剂中找到。