25、自动驾驶代理中的攻击与故障注入实验

自动驾驶代理中的攻击与故障注入实验

1. 背景介绍

在机器学习应用中，输入数据可能会被人为修改，尽管语法上正确，但会导致机器学习应用出现错误判断。这种情况在自动驾驶任务的输入数据中也可能发生。因此，需要评估机器学习应用在软件和硬件故障下的安全性，并确保系统在机器学习应用引入的新攻击面下的安全性。近年来，用于测试机器学习应用（包括安全性和鲁棒性测试）的工具和支持不断涌现。

1.1 利用 ART 工具箱进行对抗攻击

机器学习模型容易受到对抗样本的攻击，对抗样本是指那些经过故意修改，但在感知上难以区分的输入（如图像、文本、表格数据等），目的是让模型产生预期的响应。通过向原始图像添加小的扰动，对抗攻击可以欺骗目标模型，使其产生完全错误的预测。

对抗攻击一般分为三类：
- 逃避攻击 ：修改模型（通常是分类器）的输入，使预测错误，同时尽量减少修改幅度。逃避攻击可分为黑盒攻击和白盒攻击。白盒攻击中，攻击者可以完全访问模型的架构和参数；黑盒攻击中，攻击者对模型内部结构一无所知，通常需要更多尝试和计算资源来构造有效的对抗图像。
- 投毒攻击 ：攻击者可以操纵训练数据，大幅降低模型的整体性能，导致目标错误分类或不良行为，并插入后门和神经木马。
- 提取攻击 ：从专有的黑盒模型出发，开发一个新模型，以模拟原始模型的行为。

在本次工作中，仅考虑逃避攻击，因为它可能在自动驾驶代理执行时发生，从而危及安全。同时考虑白盒和黑盒攻击。白盒攻击需要目标模型的内部细节，若这些细节可用，威胁更大；但通常模型布局不易获取，此时黑盒攻击