5、语义分割深度学习：挑战、传统方法与监督学习策略

语义分割深度学习：挑战、传统方法与监督学习策略

1. 语义分割面临的挑战

图像语义分割面临着诸多挑战，这些挑战与一般图像处理问题相关，也有一些是该任务特有的。了解这些挑战有助于理解各种提出的方法。
- 语义概念的可变性和不平衡 ：目标概念的视觉外观广泛，因为形状、纹理、与邻域的交互、遮挡等存在可变性。这种数据的可变性需要在模型优化和验证的实验数据中得到很好的体现。然而，这通常会导致数据不平衡或稀缺，因为一些罕见情况只能从大型数据采集活动中捕获，而这些活动往往过度代表了最常见的情况。在语义分割中，像素级的语义概念分布与对象实例级的类别分布有显著差异。例如，在图3.1所示的样本图像中，背景类（海洋和地面）在像素数量上明显超过前景对象（鱼类），尽管前景对象的实例数量很多。因此，在算法的优化和验证过程中，必须精确控制数据选择和概念类别分布。
- 数据采集和预处理的失真 ：对于要捕获的原始数据x，传感器和后续预处理会应用一个单调且可能是非线性的变换A，得到˜x(t) = A(x)。对于给定的任务，可以使用多种传感器和数据预处理方法，每种方法都有不同的设计，会影响数据的统计分布和噪声。在像素级分类的特定情况下，这个因素至关重要，因为像素内容直接与传感器和预处理行为相关。必须针对各种配置解决对这种变换的鲁棒性问题。
- 对象尺度的可变性 ：根据传感器分辨率和对象到相机的距离，要分割的语义对象的大小可能会有很大变化，从远处的轮廓到非常近距离的精细纹理外观。然而，像素级分类器应该始终将对象的每个像素分配到相同的类别，无论其尺度如何。这意味着像素pi应该相对于空间邻域N(pi)进行分类，N(pi)