光靠欺骗检测是不够的:对抗多目标跟踪的攻击

 

​对抗机器学习的最新研究开始关注自主驾驶中的视觉感知，并研究了目标检测模型的对抗示例。然而在视觉感知管道中，在被称为多目标跟踪的过程中，检测到的目标必须被跟踪，以建立周围障碍物的移动轨迹。由于多目标跟踪被设计为对目标检测中的错误具有鲁棒性，它对现有的盲目针对目标检测的攻击技术提出了挑战:我们发现攻击方需要超过98%的成功率来实际影响跟踪结果，这是任何现有的攻击技术都无法达到的。本文首次研究了自主驾驶中对抗式机器学习对完全视觉感知管道的攻击，并发现了一种新的攻击技术——轨迹劫持，该技术可以有效地使用目标检测的对抗示例欺骗多目标跟踪。使用我们的技术，仅在一个帧上成功的对抗示例就可以将现有物体移入或移出自驾车辆的行驶区域，从而造成潜在的安全危险。我们使用Berkeley Deep Drive数据集进行评估，发现平均而言，当3帧受到攻击时，我们的攻击可以有接近100%的成功率，而盲目针对目标检测的攻击只有25%的成功率。

01

背景

 

自从Eykholt等人发现第一个针对交通标志图像分类的对抗示例以来，对抗式机器学习中的若干研究工作开始关注自动驾驶中的视觉感知，并研究物体检测模型上的对抗示例。例如，Eykholt等人和钟等人针对YOLO物体探测器研究了停车标志或前车背面的贴纸形式的对抗示例, 并进行室内实验，以证明攻击在现实世界中的可行性。在这些工作的基础上，最近赵等人利用图像变换技术来提高户外环境中这种对抗式贴纸攻击的鲁棒性，并且能够在真实道路上以30 km/h的恒定速度行驶的汽车上实现72%的攻击成功率。

虽然之前研究的结果令人担忧，但在自动驾驶或一般的机器人系统中，目标检测实际上只是视觉感知管道的前半部分——在后半部分，在一个称为多目标跟踪的过程中，必须跟踪检测到的目标，以建立周围障碍物的移动轨迹。这对于随后的驾驶决策过程是必需的，该过程需要构建的轨迹来预测这些障碍物的未来移动轨迹，然后相应地规划驾驶路径以避免与它们碰撞。为了确保目标检测中的高跟踪精度和对错误的鲁棒性，在多目标跟踪中，只有在多个帧中具有足够一致性和稳定性的检测结果可以包括在跟踪结果中，并且实际上影响驾驶决策。因此，自动驾驶视觉感知中的多目标跟踪对现有的盲目针对目标检测的攻击技术提出了新的挑战。例如，正如我们稍后在第3节中的分析所示，对目标检测的攻击需要连续成功至少60帧才能欺骗典型的多目标跟踪过程，这需要至少98%的攻击成功率。据我们所知，没有现有的针对目标检测的攻击能够达到如此高的成功率。

在本文中，我们首次研究了自动驾驶中考虑完全视觉感知管道的对抗性机器学习攻击，即目标检测和目标跟踪，并发现了一种新的攻击技术，称为跟踪器劫持，它可以用在目标检测上的对抗示例有效地欺骗多目标跟踪过程。我们的关键见解是，虽然很难直接为假对象创建轨迹或删除现有对象的轨迹，但我们可以仔细设计对抗示例来攻击多目标跟踪中的跟踪误差减少过程，以使现有对象的跟踪结果偏离攻击者希望的移动方向。这种过程旨在提高跟踪结果的鲁棒性和准确性，但讽刺的是，我们发现攻击者可以利用它来大大改变跟踪结果。利用这种攻击技术，少至一帧的对抗示例足以将现有物体移入或移出自主车辆的行驶区域，从而导致潜在的安全危险。我们从Berkeley Deep Drive数据集随机抽样的100个视频片段中选择20个进行评估。在推荐的多目标检测配置和正常测量噪声水平下，我们发现我们的攻击可以在少至一帧和平均2到3个连续帧的对抗示例中成功。我们重复并比较了之前盲目针对目标检测的攻击，发现当攻击连续3帧时，我们的攻击成功率接近100%，而盲目针对对象检测攻击的成功率只有25%。

图表 1自动驾驶中的完整视觉感知管道，即目标检测和多目标跟踪

 

本文贡献

考虑到自动驾驶中完整的视觉感知管道，即目标检测和运动检测，我们首次研究了对抗性机器学习攻击。我们发现，在不考虑