论文阅读—An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models

最新推荐文章于 2023-09-25 17:50:20 发布

小菜鸟的进阶史

最新推荐文章于 2023-09-25 17:50:20 发布

阅读量486

点赞数

本文链接：https://blog.youkuaiyun.com/yayayamaomaoya/article/details/117248398

版权

论文阅读—An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models

访问地址：https://arxiv.org/abs/2002.02175
时间：2020

这篇文章通过在自动驾驶领域复现了五种对抗性攻击方法（IT-FGSM[1]、FGSM [2]、an optimization-based approach [3]、 AdvGAN [4]和AdvGAN Universal Adversarial Perturbation (Adv-GAN uni)[5]）和四种防御技术(methods, adversarial training [6]、defensive distillation [7]、Anomaly Detection[40]和Feature squeezing[8])，并进行了适当的调整，以迎合基于回归的自动驾驶模型。实验结果表明：
（1）基于回归的自动驾驶模型也容易受到对抗性攻击，如IT-FGSM、Opt、Opt uni、AdvGAN和AdvGAN uni都能获得较高的攻击成功率。
（2）黑盒设置下的攻击在自动驾驶模型上表现不佳。结果表明，驾驶模型对抗性实例的可移植性不佳，这与以往的分类模型实验结果相矛盾。
（3）对抗性训练和防御蒸馏在一定程度上对基于IT-FGSM和基于优化的攻击有效，但对其他攻击无效。另一方面，异常检测和特征压缩机制能够检测到更多的对抗性攻击，但它们有自己的缺点。

结论：

（1）综合运用多种防御方法是很重要
（2）回归模型中不同DNN结构对其脆弱性的影响有待进一步研究。
（3）保护驾驶模型的细节，探索驾驶模型对抗性例子的可移植性是非常重要的。

摘要：

目前，自动驾驶已经引起了业界和学术界的广泛关注。卷积神经网络(CNN)是自动驾驶的关键组成部分，它也越来越多地应用于普适计算，如智能手机、可穿戴设备和物联网网络。之前的工作表明，基于cnn的分类模型很容易受到敌对攻击。然而，在多大程度上回归模型(如驱动模型)容易受到对抗性攻击、现有防御技术的有效性以及防御对系统和中间件构建者的影响是不确定的。

背景：

许多普适计算应用现在使用回归神经网络模型。例如，基于cnn的回归模型能够预测无人机的碰撞距离，从而实现无碰撞导航。在模拟传感器网络的边缘部署了一个堆叠的自编码器回归模型，以预测每个服务器的QoS度量值(响应时间和吞吐量)。在本文中，我们关注的自动驾驶，广泛使用基于cnn的回归模型。
如今，特斯拉(Tesla)、优步(Uber)和Waymo等科技公司都对自动驾驶汽车进行了巨额投资。Waymo最近在凤凰城推出了首个自动驾驶汽车服务，这是自动驾驶汽车商业化的第一步。在自动驾驶系统中，摄像头和激光雷达会收集有关驾驶场景的信息，然后将这些信息输入基于cnn的驾驶模型，以做出诸如调整速度和转向角度等决策。不幸的是，cnn很容易被对抗样本欺骗，这些样本是通过对输入图像添加微小的、像素级扰动来构建的。尽管人眼无法察觉，但这些对抗性的例子导致cnn做出了完全错误的决定。最近，腾讯敏锐安全实验室(Keen Security Lab)演示了对特斯拉自动驾驶仪(Tesla Autopilot)的对抗性攻击，生成了在没有雨的情况下打开雨刷的对抗性例子。
在图像分类模型上已经提出了许多对抗性攻击，并证明了它们的有效性。为了防御对抗性攻击，已经提出了几种加固神经网络的技术。然而，以往的研究主要集中在图像分类模型上。目前还不清楚这些对抗性攻击和防御在多大程度上对回归模型(例如自动驾驶模型)有效。这种不确定性暴露了潜在的安全风险，并增加了研究机会。如果将对抗性攻击成功应用于自动驾驶系统，攻击者很容易造成交通事故，危及人身安全。如果现有的防御方法不能适应回归模型的攻击，那么有必要找到一种新的适合自动驾驶的防御机制。

参考文献：

[1] Alexey Kurakin, Ian J. Goodfellow, and Samy Bengio. Adversarial examples in the physical world. In Proc. of ICLR. OpenReview.net, 2017.
[2] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In Proc. of ICLR. OpenReview.net, 2014.
[3] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian J. Goodfellow, and Rob Fergus. Intriguing properties of neural networks. In Proc. of ICLR. OpenReview.net, 2014.
[4] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Proc. of NeurIPS, pages 2672–2680. Curran Associates, Inc., 2014.
[5] Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, and Pascal Frossard. Universal adversarial perturbations. In Proc. of CVPR, pages 1765–1773. IEEE, 2017.
[6] Kosuke Watanabe, Eunsuk Kang, Chung-Wei Lin, and Shinichi Shiraishi. Runtime monitoring for safety of intelligent vehicles. In Proc. of DAC, pages 1–6. IEEE, 2018.
[7] Weilin Xu, David Evans, and Yanjun Qi. Feature squeezing: Detecting adversarial examples in deep neural networks. In Proc. of NDSS. The Internet Society, 2018.