25、自动驾驶代理中的攻击与故障注入研究

自动驾驶代理中的攻击与故障注入研究

1. 引言

在机器学习（ML）应用中，存在语法正确但经过人为修改会使ML应用产生误判的输入。对抗攻击不仅常用于对象分类，也可应用于驾驶任务的输入。因此，需要评估ML应用在软件和硬件故障下的安全性，并保护系统免受ML应用引入的新攻击面影响。近年来，测试ML应用的工具和支持不断涌现，不过普遍更倾向于分类和检测任务。

本文不开发新工具，而是复用现有工具，探讨端到端自动驾驶代理在对抗攻击和软件故障下的风险。端到端自动驾驶代理直接将传感器信息映射为驾驶命令，不将自动驾驶流程拆分为单独任务。据我们所知，此前还没有工作从故障和攻击两个角度对端到端自动驾驶代理进行实验。本文提供了一种易于实现的方法，可在完全模拟且可重现的环境中快速部署对自动驾驶代理在各种对抗攻击和故障条件下的测试。具体来说，本文解释了如何配置、注入攻击和故障，并收集其影响的证据，展示了如何操作驾驶模拟器进行实验和执行实验活动。结果表明，攻击和故障注入会导致训练好的代理做出错误决策，引发碰撞或交通违规，在多种注入条件下代理会失效。

2. 背景知识

2.1 使用ART工具箱进行对抗攻击

机器学习模型容易受到对抗样本的攻击，对抗样本是指那些经过刻意修改但在感知上难以区分的输入（如图像、文本、表格数据等），其目的是使模型产生预期的响应。通过向原始图像添加小的扰动，对抗攻击可以欺骗目标模型，使其产生完全错误的预测。

一般来说，对抗攻击可分为三类：逃避攻击、投毒攻击和提取攻击。
- 逃避攻击 ：修改模型（通常是分类器）的输入，使其预测错误，同时尽量使修改最小化。逃避攻击可分为黑盒攻击和白盒攻