31、3D与2D高斯拼接技术：从原理到实践

3D与2D高斯拼接技术：从原理到实践

1. 3D高斯拼接技术概述

3D高斯拼接技术在模型训练上相对简便，它无需神经网络模型，仅需训练一个包含众多参数的拟合函数，且这些参数会在训练过程中不断更新。

具体操作步骤如下：
1. 数据采集 ：使用手机或无人机围绕目标物体（如雕塑、埃及金字塔、埃菲尔铁塔或温哥华市中心的建筑）拍摄照片。
2. 点云生成 ：利用Colmap或其他免费软件从照片中获取目标物体表面3D点的点云文件。
3. 初始化 ：将点云文件中的点初始化为3D高斯“橄榄球”。
4. 光栅化 ：在模型训练时，将数百万个“橄榄球”根据相机位置和特定方程投影到共焦平面，此过程称为“光栅化”。GPU会对所有“橄榄球”到共焦平面的距离进行排序，以16x16像素的“瓦片”为一批次，生成预测图像。
5. 损失计算 ：以相机在该位置拍摄的图像作为真实图像，使用L1损失函数和结构相似性指数（SSIM）损失函数计算预测图像与真实图像的差异。
6. 参数更新 ：根据损失函数对“橄榄球”部分参数的梯度，更新每个“橄榄球”的位置、大小、方向、颜色和不透明度。若“橄榄球”的不透明度足够低（或透明度足够高），则将其删除；若损失函数对“橄榄球”位置坐标的梯度范数足够大，则克隆该“橄榄球”，且当克隆的“橄榄球”尺寸足够大时，缩小两者的尺寸。
7. 重复调整 ：对所有真实图像重复上述过程，以调整每个“橄榄