【论文笔记】SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Drivin

SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving
原文链接：https://arxiv.org/pdf/2411.16816

简介：自动驾驶需要大量的测试，其中仿真是关键的部分。神经渲染方法可以数据驱动的形式建立仿真环境，但NeRF渲染速度太慢，而3D高斯溅射（3DGS）则只能渲染图像数据。本文提出SplatAD，第一个基于3DGS的动态场景渲染方法，可实时渲染真实的图像和激光雷达数据。SplatAD建模了卷帘快门效应、激光雷达的强度和射线丢弃。

1. 场景表达

本文方法的场景由半透明3D高斯表达，每个高斯包含可学习的占用$o\in (0,1)$，均值$\mu \in {\mathbb{R}}^3$和协方差矩阵$\Sigma \in {\mathbb{R}}^{3\times 3}$（由尺度$S\in {\mathbb{R}}^3$和四元数$q\in {\mathbb{R}}^4$表示）参数。使用可学习的基础颜色$f^{rgb}\in {\mathbb{R}}^3$和特征向量$f\in {\mathbb{R}}^{D_f}$替代原本的球面谐波，其中$f$编码了视图相关的效应和激光雷达属性。此外，还包含了各传感器可学习的嵌入，以建模特定的外观特征。

为处理动态，使用场景图分解，将场景分为静态背景和动态参与者集合。每个动态参与者由3D边界框和SE(3)姿态序列描述（可由现成的目标检测器和跟踪器，或是标注得到）。每个高斯有不可学习的ID，指示其属于静态或某个动态参与者。对属于动态参与者的高斯，其均值和协方差是在其局部坐标系（即与边界框对齐的坐标系）下定义的。对特定时刻$t$下的场景，先将边界框高斯基于参与者的姿态，变换到世界坐标系下，并使用可学习的偏移量调整以减小姿态不准确带来的影响。每个参与者还有从姿态差异初始化的速度和可学习的速度偏移量。

2. 相机渲染

给定已知姿态的相机，使用3DGS的基于区块（tile）的渲染方法渲染$t$时刻的图像$I$，但作出了一些调整以适应本文方法。

投影，划分和排序。给定世界坐标系下的均值${\mu }^C$和协方差${\Sigma }^C$，首先将均值透视投影到图像上得到${\mu }^I\in {\mathbb{R}}^2$，然后使用投影矩阵的雅可比矩阵前两行得到变换后的协方差${\Sigma }^I=J^I{\Sigma }^C(J^I{)}^T\in {\mathbb{R}}^{2\times 2}$。剔除位于视锥外的高斯后，将图像划分为$16\times 16$的区块，并将高斯分配给所有相交的区块。这样，在栅格化时，每个像素仅需处理一部分高斯。最后，基于均值${\mu }^C$的$z$深度排序高斯。

卷帘快门。许多相机使用卷帘快门，即逐行捕捉图像，使得曝光过程中可能存在相机运动。本文将高斯相对相机的速度投影到图像空间，根据像素的捕捉时间调整均值${\mu }^I$。

对每个高斯，其像素速度近似如下：
$$v^I=J^I(-{\omega }_C\times {\mu }^C-v_C+v_{dyn})\in {\mathbb{R}}^2$$

其中${\omega }_C$和$v_C$为相机坐标系下相机的角速度和线速度（负号表示高斯相对相机的运动），且
$$v_{dyn}=T^{act\to C}({\omega }_{act}\times {\mu }^{act}+v_{act})\in {\mathbb{R}}^3$$

为动态物体高斯的速度，${\omega }_{act}$和$v_{act}$在参与者坐标系下表达，${\mu }^{act}$为参与者坐标系下的高斯均值。$T^{act\to C}$为参与者坐标系到相机坐标系的变换。对于静态高斯，$v_{dyn}=0$。

删除高斯时，也考虑了卷帘快门，并在考虑高斯和图像区块相交时增加高斯的近似范围。3DGS使用包含99%置信度的、正方形的、轴对齐的边界框（AABB） 近似高斯；本文使用长方形的AABB，包含${\Sigma }^I$的三个标准差并添加$|v_I|\cdot t_{rs}/2$。$t_{rs}$表示卷帘快门时间，即最后一行与第一行像素的捕捉时间之差。该式假设传感器时间戳为曝光的中间时刻，故本文还引入时间偏移量指示可能存在的时间偏差。使用长方形AABB减少了不必要的相交，如窄高斯和速度与轴对齐的高斯。

栅格化。3DGS通过为每个区块加载一个线程块、为每个像素分配一个线程来实现并行栅格化。对每个像素，其坐标$p=[p_u,p_v{]}^T$通过块和线程索引得到。像素与图像中间行的捕捉时间差为
$$t_{pix}=(p_v/H-0.5)\cdot t_{rs}$$

对按深度排序的、与本区块相交的高斯，取其RGB值$f_i^{rgb}$和特征$f_i$进行$\alpha$混合：
$$[F_p^{rgb},F_p]=\sum _i[f_i^{rgb},f_i]{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$

其中
$$\begin{gathered} {\alpha }_i=\sqrt{\frac{|{\Sigma }_i^I|}{|{\Sigma }_i^I+sI|}}{o}_i\exp (-\frac{1}{2}{\Delta }_i^T({\Sigma }_i^I+sI{)}^{-1}{\Delta }_i) \\ {\Delta }_i=p-({\mu }_i^I+v_i^I{t}_{pix}) \end{gathered}$$

使用卷帘快门补偿的均值，计算像素和高斯的距离${\Delta }_i$。注意此处为3DGS+EWA的渲染，其中$s=0.3$。

视图相关的效应被小型CNN建模。给定特征图$F\in {\mathbb{R}}^{H\times W\times D_f}$、相应的射线方向$d\in {\mathbb{R}}^{H\times W\times 3}$和相机的可学习嵌入$e$，预测逐像素的仿射映射$M\in {\mathbb{R}}^{H\times W\times 3}$和$b\in {\mathbb{R}}^{H\times W\times 3}$，并应用于$F^{rgb}$：
$$\begin{gathered} M,b=CNN(F,d,e) \\ I=M\odot F^{rgb}+b \end{gathered}$$

使用CNN比MLP更利于进行纹理建模，相机嵌入可建模曝光差异。

3. 激光雷达渲染

投影。给定已知姿态的激光雷达和$t$时刻的高斯，首先将高斯转换到激光雷达坐标系下，得到${\mu }^L=[x,y,z{]}^T$和${\Sigma }^L$。原始激光雷达数据通常表达在球坐标下，包含水平角$\varphi$，俯仰角$\omega$和距离$r$。因此，将高斯均值转换到球坐标系下：
$${\mu }^S=\left[\begin{array}{c}\varphi \\ \omega \\ r\end{array}\right]=\left[\begin{array}{c}\arctan 2(y,x)\\ \arcsin (z/r)\\ \sqrt{x^2+y^2+z^2}\end{array}\right]$$

并将协方差根据上式的雅可比矩阵转化到球坐标系下：${\Sigma }^S=J^S{\Sigma }^L(J^S{)}^T$。其中
$$J^S=\left[\begin{array}{ccc}-\frac{y}{x^2+y^2}& \frac{x}{x^2+y^2}& 0\\ -\frac{xz}{r^2\sqrt{x^2+y^2}}& -\frac{yz}{r^2\sqrt{x^2+y^2}}& \frac{\sqrt{x^2+y^2}}{r^2}\\ \frac{x}{r}& \frac{y}{r}& \frac{z}{r}\end{array}\right]$$

和相机一样，考虑卷帘快门效应：
$$v^S=J^S(-{\omega }_L\times {\mu }^L-v_L+v_{dyn})\in {\mathbb{R}}^3$$

注意与图像的$v^I$不同，$v^S$为三维的，因为需要精确的距离栅格化。使用$v^S{t}_{rs}/2$的前两维来扩展高斯的长方形AABB，并删除激光雷达视野外的高斯。

划分和渲染。通常激光雷达有固定的水平角分辨率，但二极管之间的非等距分布使得在感兴趣区的俯仰角分辨率更高。本文在水平方向上使用固定的角度分辨率，而在垂直方向上按照固定的二极管数量划分（保证每个区块包含相同的激光雷达点数）。分配高斯后，基于均值${\mu }^S$的距离排序。

栅格化。每个区块加载一个线程块，每个线程负责栅格化得到一个激光雷达点。每个线程有水平角、俯仰角、以及捕获时间的信息，这是由于点不可能完美地沿扫描线分布（不能通过块和线程的索引来确定坐标，只能使用激光雷达参数或根据已有的点云计算得到），且水平角和俯仰角不能决定相对激光雷达扫描中心的时间偏移量。

对每个激光雷达点，对高斯的特征$f_i$进行$\alpha$混合（公式类似图像的渲染）。渲染的特征会和射线方向拼接，并通过小型MLP解码得到强度和射线丢弃概率。

为得到期望的距离，对卷帘快门修正的高斯距离$r_{i,rs}$进行$\alpha$混合，其中
$$r_{i,rs}=r_i+v_r^S{t}_l$$

其中$v_r^S$为相对激光雷达速度的距离分量，$t_l$为当前捕捉时刻和激光雷达扫描的中间时刻之差。渲染的距离为第一个满足${\prod }_{j=1}^{i-1}(1-{\alpha }_j)<0.5$的高斯（卷帘快门修正后的）中值距离。注意在训练时使用期望距离，而推断时使用中值距离。

4. 优化和实施

总损失如下：
$$L={\lambda }_r{L}_1+(1-{\lambda }_r)L_{SSIM}+{\lambda }_{depth}{L}_{depth}+{\lambda }_{los}{L}_{los}+{\lambda }_{intens}{L}_{inten}+{\lambda }_{raydrop}{L}_{BCE}+{\lambda }_{MCMC}{L}_{MCMC}$$

其中L1和SSIM损失为图像的渲染损失，$L_{depth}$和$L_{inten}$为激光雷达距离和强度的L2损失。$L_{los}$为视线损失，惩罚激光雷达距离内的不透明度。BCE损失为激光雷达射线丢弃概率的二元交叉熵，$L_{MCMC}$为不透明度和尺度正则化损失。

（1）与激光雷达点$p$相交的高斯的视线损失为：$$L_{los,p}=\sum _{r_i<r_p-ϵ}{\alpha }_i$$

其中$r_i$为高斯的距离，$r_p$为点的距离，$ϵ=0.8$。
（2）MCMC损失为
$${\lambda }_{MCMC}{L}_{MCMC}={\lambda }_o\sum _i|o_i|+{\lambda }_{\Sigma }\sum _{i,j}|\sqrt{ei{g}_j({\Sigma }_i)}|$$

使用激光雷达点和随机点共同初始化高斯。边界框内的激光雷达点被分配到相应的参与者。所有激光雷达点被投影到最近的图像上设置初始颜色。随机点被包括激光雷达距离内的均匀采样点和激光雷达距离外的线性采样点（颜色均随机初始化）。使用MCMC策略而非3DGS的分裂和密集化策略，因其有更好的远场渲染质量和可预测的计算需求。