35、目标检测与语义分割网络的鲁棒性验证

目标检测与语义分割网络的鲁棒性验证

在计算机视觉领域，目标检测和语义分割是两个至关重要的任务。目标检测能够识别图像中的特定对象，而语义分割则为图像中的每个像素分配一个语义标签。然而，即使是训练良好的神经网络，也容易受到微小输入修改（即对抗攻击）的影响，这可能导致输出发生显著变化。因此，对这些网络进行鲁棒性验证变得尤为重要。

一、YOLO 模型的鲁棒性属性

在海上搜索和救援的目标检测场景中，YOLO 模型的鲁棒性评估是关键。当前的基准测试涵盖了不同像素扰动幅度 δ（范围从 0.1% 到 10%）的鲁棒性属性。具体步骤如下：
1. 随机选择数据集图像 ：从数据集中随机挑选一张图像 x。
2. 图像缩放 ：将图像（必要时包括填充）缩小到与神经网络输入大小（640 × 640）匹配，得到图像 xin。
3. 神经网络推理 ：对缩小后的图像进行神经网络推理，计算边界框 bouti∈Bout 及其相应的类别。
4. 边界框放大 ：将边界框放大到原始图像大小，得到框 bi∈B。
5. 随机选择边界框 ：从 B 中随机选择一个边界框 b，对应图像中检测到的一个对象。
6. 定义扰动空间 ：在原始大小的图像 x 上，对边界框 b 内的像素应用 L∞ 范数，定义可能的扰动空间，并将其缩小到神经网络输入大小。同时，施加输入约束，确保输入扰动在 δ 范围内。
7. 施加输出约束 ：施加输出约束