笔记回顾2|Adversarial Machine Learning‘s Threat Model

Firstly, thank to SoK: Towards the Science of Security and Privacy in Machine Learning.

本章节主要讨论下这篇文章中，在AML中的threat model。其中内容会借鉴部分参考文献的思路和框架，也会有自己对于应用场景和未来优化的思考。

看到上图中，主要介绍了不同的场景中的攻击面，其中涉及到的是普遍的机器学习场景，计算机视觉以及网络安全的入侵检测。可以看到，不论是哪个场景中，都被分成了四个阶段，物理世界获取信息，转换成数字化表征形式，进入机器学习模型训练，返回到物理世界进行推理预测。

以第二个场景为例子，在计算机视觉的问题场景中，具体的是以自动驾驶为例子，这四个阶段分别对应的就是行车传感器获取停车的交通标志（物理世界获取信息），将获取的信息转化成图片进入预处理阶段（转化成数字表征），接下来将图像转化成3维的张量（表征转化），应用模型对其进行分类置信度的计算（进入机器学习模型训练），反馈到物理世界中，让车辆刹车（返回到物理世界推理）。这里值得注意的是，其实在数据表征转化的阶段，预处理的阶段，这几个阶段是相对模糊的，预处理即可以属于模型的训练阶段，也可以不属于，这是笔者对于这部分内容的理解。

再回顾下上一章节，我们提到过，在不同阶段都有可能产生脆弱的点（被相关做ai的人士提点了一下，这个不能直接说是安全问题，但是这个后面我会把具体的可具象的场景解释一下），给大家一个更为形象的场景之后，就能明白这个大概是怎么样一个过程了。

仍以第二个场景自动驾驶为例，我们在行车过程中，肯定希望能够通过车辆的传感器获取正确的图片信息。

    当我们的车辆行驶在路上的时候，我们的传感器传输被劫持，车辆获取了一个由恶意用户发送的信息之后，就将其输入到了预测模型中，这就有如，自动驾驶的车辆在高速