对抗样本（五）DeepFool

一、论文相关信息

  1.论文题目

     DeepFool: a simple and accurate method to fool deep neural networks

  2.论文时间

    2015年

  3.论文文献

    https://arxiv.org/abs/1511.04599

二、论文背景及简介

    目前，没有有效率的方法可以用来精确的计算深度模型对对抗扰动的鲁棒性。在这篇论文中，提出了DeepFool的算法来生成扰动，并且提出了一种量化分类器鲁棒性的方法。

三、论文内容总结

• 提出了一种计算分类器对对抗扰动的鲁棒性的评价方法
• FGSM虽然快，但是它只是提供了最优扰动的一个粗略的估计，它执行的梯度的方法，经常得到的是局部最优解，DeepFool能够得到更小的扰动，甚至比FGSM小一个数量级
• 提出了一个新的对抗攻击方法DeepFool：

$$\begin{gathered} r_{\ast }(x_0)=argmin||r|{|}_2 \\ s.t.sign(f(x_0+r))\ne sign(f(x_0))=-\frac{f(x_0)}{||w|{|}_2^2}w \end{gathered}$$

• 在DeepFool中可以采用任意的lp norm
• DeepFool训练出来的对抗样本进行Fine-tuning后，网络的鲁棒性变的更好。FGSM的Fine-tuning却让网络的鲁棒性变差。作者认为：用变动过大的扰动来进行Fine-tuning会让网络的鲁棒性变差。但博主认为：大的扰动在Fine-tuning后之所以让鲁棒性变差，是因为实验所使用的Epoch太少了，不足以让网络能够清楚地学习到大的扰动所带来的影响，才让鲁棒性变差，而增加Epoch或者增加网络的复杂性，就可以训练的很好。这只是个人理解。

附：如需继续学习对抗样本其他内容，请查阅对抗样本学习目录

四、论文主要内容

1、Introduction

    针对样本x，标签$\hat{k}(x)$ ，我们可以用如下关系来生成对抗样本：
$$△(x,\hat{k})=mi{n}_r||r|{|}_{2}s.t.\hat{k}(x+r)\ne \hat{k}(x)$$
    我们，可以把$△(x,\hat{k})$ 称作$\hat{k}$ 在点$x$ 上的鲁棒性，分类器$\hat{k}$ 的鲁棒性可以如下定义：
$${\rho }_{adv}(\hat{k})=E_x\frac{△(x,\hat{k})}{||x|{|}_2}$$
    其中$E_x$ 是对数据分布的期望。

    对抗扰动的研究帮助我们明白了对一个分类器来说，什么样的特征被使用了。一个准确的寻找对抗扰动的方法对于研究和比较不同分类其对对抗样本的鲁棒性是十分必要的，这可能有助于更好的理解目前结构的限制，然后能够找到方法来增加鲁棒性。目前，还没有很好的方法被提出来得到对抗扰动，这篇论文就弥补了这一缺陷。

    这篇论文主要的贡献如下：

• 提出了一个简单的精确的方法来计算对抗扰动以及比较不同分类器的鲁棒性
• 进行了一次实验对比，发现由我们的方法得出来的对抗扰动 更可信 更有效率，而且，使用对抗样本来增强实验数据能够极大的增加对对抗扰动的鲁棒性
• 使用不精确的方法来计算对抗性扰动可能会导致关于鲁棒性的不同结论，有时甚至是误导性的结论。因此，我们的方法可以更好地理解这种有趣的现象及其影响因素

    这篇论文提到，FGSM虽然快，但是它只是提供了最优扰动的一个粗略的估计，它执行的梯度的方法，经常得到的是局部最优解。

2、DeepFool For Binary Classifiers

    在该节，$\hat{k}(x)=sign(f(x))$ ，$f(x)$ 是一个二值分类器，我们把   F = { x : f ( x ) = 0 } \ \mathcal{F}=\{x:f(x)=0\}  F={ x:f(x)=0} 记为分类器的边界。$f(x)=w^{T}x+b$ 。

    如果$f$ 是一个线性的，我们可以很容易的看出$f$ 在点$x_0$ 出的鲁棒性。$△(x_0;f)$ 等于$x_0$ 到分类边界$\mathcal{F}$ 的距离，也可以用$r_{\ast }(x_0)$ 表示。

    其公式如下：
$$r_{\ast }$$