论文阅读笔记——MTGS: Multi-Traversal Gaussian Splatting

MTGS 论文

MTGS（Multi-Traversal Gaussian Splatting） 是一种用于多轨迹驾驶场景重建的新方法，通过共享静态几何、轨迹特定的动态节点和外观节点，分别建模静态背景、动态物体和外观变化。该方法利用 LiDAR 引导的曝光对齐和可学习的仿射变换解决轨迹内外观一致性问题，并通过深度和法线正则化提升几何精度和渲染质量。实验表明，MTGS 在 nuPlan 数据集上显著优于单轨迹基线方法，为自动驾驶模拟器和数字孪生应用提供了高质量的场景重建和新视角合成能力。
解决了多轨迹数据的异构性：同一地点不同时间，车辆/行人位置不同；不同时间段光照、天气变化。通过共享静态节点、轨迹动态节点、球谐系数残差校正来分层场景表示。

多轨迹数据（同一道路区块但不同时间采集的视频），具有同一个共享空间，对于静态空间 3D 几何是不变的，但对于时间、天气等场景动态是不一样的，无法运用插值等简单重建方法。

输入：

• 同一道路不同时间采集的视频帧集合： I = { I t , T ∈ R w × h × 3 ∣ t = 0 , … … , t T ; T = 1 , … … , T a l l } I=\{I_{t,T}\in R^{w×h×3}|t=0,……,t_T;T=1,……,T_{all}\} I={ It,T​∈Rw×h×3∣t=0,……,tT​;T=1,……,Tall​} 其中，t 表示时间帧索引，T 表示轨迹索引；每帧图像都有对应的相机位姿 ζ t , T = { W t , T , K t , T } \zeta_{t,T}=\{W_{t,T},K_{t,T}\} ζt,T​={ Wt,T​,Kt,T​} 世界坐标系到相机坐标系的变换矩阵和相机内参矩阵
• 彩色 LiDAR 点云 $P_{t,T}\in R^{K\times 6}$

整个场景被表述为基于 3DGS 的多轨迹场景图：（思路类似于颜色都可以由红绿蓝给出）

• ${\mathcal{G}}_{static}$ ——背景几何；轨迹和时间不变的属性 { x i , q i , s i , α i , β i b a s e } \{x_i,q_i,s_i,\alpha_i,\beta_i^{base}\} { xi​,qi​,si​,αi​,βibase​} （位置，旋转，缩放，透明度，基础球谐系数）。
• ${\mathcal{G}}_T^{appr}$——轨迹 T 的外观变化；提供 T 轨迹的颜色残差（捕捉外观变化、光照、反射、色调等）以此来定义该轨迹的球谐系数 ${\beta }_{i,0,0}$