42、深度异常检测与语义分割模型鲁棒性评估

深度异常检测与语义分割模型鲁棒性评估

1. 引言

在深度学习领域，模型的鲁棒性至关重要，尤其在自动驾驶和医疗诊断等安全关键应用中。当前研究多关注对抗鲁棒性，但对抗样本在自然环境中并不常见。以往评估卷积神经网络（CNN）模型鲁棒性的方法，是在现有图像上叠加合成扰动，如噪声、雨、雪和雾等，但这些方法可能无法准确捕捉自然环境的复杂性。此外，视觉Transformer（ViT）虽在许多计算机视觉任务中表现出色，但其鲁棒性尚未得到充分评估。

为了更真实地评估模型的鲁棒性，我们使用CARLA模拟环境，直接在数据生成过程中应用环境条件，而不是修改现有图像。这种方法可以模拟更真实的环境条件，包括水中的真实反射和变化的阴影，并使修改更加一致。我们评估了几种最先进的语义分割模型的鲁棒性，包括各种CNN和一个Vision Transformer，并测试了不同的骨干网络。此外，我们还证明了在少量不利天气条件样本上进行训练可以显著提高大多数模型的鲁棒性。

2. 相关工作

• 一些研究比较了Transformer架构与其他架构在不同场景下的鲁棒性。例如，有研究发现Transformer在车道偏离预警系统中的鲁棒性并不比多层感知器（MLP）有明显优势；也有研究比较了Transformer和CNN模型在图像分类任务中的鲁棒性，发现CNN可以表现出相当的鲁棒性；还有研究观察到Vision Transformers在图像分类的鲁棒性和性能方面往往优于ResNet模型。
• 对于语义分割，有研究对各种CNN架构在对抗攻击和不利天气条件下的鲁棒性进行了基准测试；也有研究表明卷积模型在人工损坏数据的分割、目标检测和分类任务中比基于Transformer的模型更具鲁棒性