23、数据融合中的信息研究与多模态模型实验分析

数据融合中的信息研究与多模态模型实验分析

1. 多模态模型构建

为了更好地开展研究，我们进行了一系列实验，以揭示不同融合阶段和方法的影响。首先引入了基线模型，然后探讨多模态融合方法。
- 单模态网络基线 ：选择编码器 - 解码器网络作为基线，原因在于其流行的模型架构，且便于进行消融研究，能让我们专注于融合方法而非网络本身。考虑到多模态车道线数据量有限，需要小型模型，因此选用 U - Net 作为基线。它由编码器的四个块和解码器的五个块组成，其中两个是 ResNet - 34 块。最后四层使用转置卷积，其余为卷积块。所有卷积块在卷积层之后都有批量归一化层和 ReLU 层，所有核大小均为 3×3。编码器中的每个块通过虚线与其在解码器中对应的块相连，以拼接各自的输出，从而校正特征图。
- 点云补全 ：通过将前视点云从前视图投影到相机的成像平面上，以与 RGB 图像对齐，得到稀疏反射率。但在 KITTI 中，点云和图像的比例约为 1.5%，在 A2D2 中约为 0.4%。因此，点云补全可以提高具有更高信噪比的通道容量。采用 k - NN 搜索进行插值，为每个空白像素搜索三个最近点，并根据归一化像素距离计算加权平均值作为结果。为了更好地减少反射衰减引起的噪声，并利用高度信息作为额外的过滤条件，将高度和距离值堆叠在反射率上，组成伪三通道图像。
- 不同阶段的融合 ：为了找到多模态车道线分割的理想融合架构，我们逐步构建并比较了多个融合模型，包括早期、中期和晚期融合。在点云管道中，对于 V4 和 V5，使用卷积层而非 ResNet 块来实现容量分配。来自两种模态的特征将被拼接以增加通道数。尽管