16、道路裂缝语义分割与无人机场景匹配算法研究

道路裂缝语义分割与无人机场景匹配算法研究

道路裂缝语义分割方法

在道路裂缝语义分割中，为解决现有数据集多样性不足的问题，提出了一系列有效的方法。

数据增强与分割

在语义分割网络训练前，采用了独特的阴影生成方法对训练数据进行增强。实际训练数据中，分割的难点大多源于大量复杂阴影遮挡了图像中的裂缝。具体操作步骤如下：
1. 准备可能出现的道路物体 ：收集大量可能出现在道路上的物体。
2. 物体处理与阴影转换 ：将这些物体处理并转换为阴影，投射到道路图像上。阴影生成基于现实世界中路面附近可能出现的物理物体，检测其轮廓以选择物理前景，将背景设为透明，然后对物理前景进行二值化处理，得到黑色物理前景。
3. 阴影优化 ：为使黑色前景更像阴影，添加阴影时随机设置合理的透明度，并应用高斯模糊滤波器。
4. 其他增强方法 ：除阴影增强外，还使用了随机仿射变换、随机裁剪、随机旋转、随机亮度变化等方法，以降低模型过拟合的风险。完成数据增强后，使用U - Net架构训练分割模型。

分类网络

仅使用分割模型可能无法完全消除误报问题，因为部分误报并非源于阴影，而是更复杂的图案，难以通过纯生成模型生成。因此，训练了一个基于ResNet的二分类网络，用于判断图像子区域是否包含道路裂缝，该网络在混凝土裂缝图像上进行训练。

双网络融合

使用ResNet训练分类器，训练完成后，通过滑动窗口将图像输入分类网络，判断输入图像的每个子区域是否包含