《Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review》阅读笔记

Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review

最初的后门攻击主要集中在计算机视觉领域，但是也已经扩展到其他领域。例如文本、音频、基于ML的计算机辅助设计、基于ML的无线信号分类等。

区分

1.与Adversarial Example的区别

1）攻击的pipeline不同
2）对抗样本对每个输入进行精心设计不同的扰动，而后门攻击可以使用相同的触发器应用于将任何输入
3）后门触发器为攻击者提供了最大的灵活性。 因此，攻击者可以完全控制将物理场景转换为有效的对抗输入

2.与UAP的区别

UAP可以产生类似后门攻击的效果，将其加到任意输入都可以导致误分类
和Universal Adversarial Patch（UAP）相比的不同：
UAP是是DL模型的固有属性，即使是干净的或没有后门的模型也会存在。
触发器是任意的，而精心制作的UAP并非任意的。因此，触发器由攻击者完全控制，而UAP取决于模型。
通过后门触发器的攻击成功率通常比UAP高得多，尤其是在攻击者要发动定向攻击时。

3.与Data poisoning attack数据投毒攻击区别

数据投毒对于所有输入都会降低准确性，也称可用性攻击。
1）虽然可以通过数据中毒来实现后门攻击，但后门攻击保留了其主要任务的良性样本的推理准确性，并且仅在trigger触发的情况下才秘密地进行恶意行为。
2） 常规中毒攻击没有针对性。 换句话说，它不在乎哪个类别的准确性被错误分类或破坏。 相比之下，后门攻击通常是有针对性的攻击-触发输入被错误分类为攻击者的目标类别。

攻击面

1.代码中毒code poisoning

直接在公共的DL框架（Caffe,Tensorflow,Torch）中找漏洞。这种攻击攻击假设最弱，不需访问训练数据、模型架构等，但是可能会影响最大。

2.OutSourcing外包

由于没有ML技能或者缺少相应计算资源，可能会将模型训练过程外包给第三方，这种情况下，虽然用于定义架构、提供训练数据，但是在将训练外包给Machine Learning as a Services(MLaaS)时，MLaas在训练阶段可能对ML模型添加后门

3.Pretrained预训