DeepFool论文解读

DeepFool: a simple and accurate method to fool deep neural networks

1.引言

作者首先定义了对抗攻击的范式和模型的鲁棒性。
  通常，对与一个给定的模型，能够改变分类器 $\hat{k}(x)$ 的分类结果的最小对抗扰动 $r$ 定义如下
$$\Delta (x;\hat{k}):=\underset{r}{\min }\Vert r{\Vert }_2\text{subject to}\hat{k}(k+r)\ne \hat{k}(x)$$
其中 $x$ 是图片，$\hat{k}(x)$ 是预测的标签, $\Delta (x;\hat{k})$ 是分类器 $\hat{k}$ 在 $x$ 处的鲁棒性。分类器 $\hat{k}$ 的鲁棒性定义为 ${\rho }_{adv}(\hat{k})={\mathbb{E}}_x\frac{\Delta (x;\hat{k})}{\Vert x{\Vert }_2}$。
作者的贡献可以归结为三点：

• 提出了一种新的计算对抗样本的方法 DeepFool，该方法是基于梯度迭代方法中生成扰动最小的，并且能有较高的攻击准确率。

• 用对抗样本增加训练数据，显著提高模型对对抗扰动的鲁棒性，该部分贡献对抗训练的前期研究。

• 分析了 FGSM 算法来验证分类器的鲁棒性的不合理性，并提出该算法会过分的评估分类器的鲁棒性，并定义了什么是样本鲁棒性，什么是模型的鲁棒性。

2.DeepFool 实现 - 二分类

首先定义一个二分类器 $f(x)=w^{T}x+b$, 以及分类超平面 F = { x : w T x + b = 0 } \mathcal{F} = \{x:w^Tx+b =0\} F={x:wTx+b=0}。对于一个样本 $x_0$，$f$ 在 $x_0$ 处的鲁棒性 $\Delta (x_0;f)$ 则是 $x_0$ 到超平面的正交投影距离，定义如下：
$$\begin{gathered} r_{\ast }(x_0):=\mathrm{argmin}\Vert r{\Vert }_2\text{subject to}sign(f(x_0+r))\ne sign(f(x_0)) \\ =-\frac{f(x_0)}{\Vert w{\Vert }_2^2}w \end{gathered}$$
其中 $w$ 是超平面的法向量

如果 $f$ 是一个可微的函数，那么就可以通过迭代的方式求出 $r_{\ast }$，可以将以上的公式优化为下面的形式

推导过程：
已知 $r_i=-\frac{f(x_i)}{\Vert w{\Vert }_2^2}w$，从几何意义上来说，梯度 $\nabla f(x_i)=w$,所以有
$$r_i=\frac{-f(x_i)}{\Vert \nabla f(x_i){\Vert }_2^2}\nabla f(x_i)$$
又因为 $\Vert \nabla f(x_i){\Vert }_2^2=\nabla f(x_i)\cdot \nabla f(x_i{)}^T$ , 移项就有：
$$\nabla f(x_i{)}^T{r}_i+f(x_i)=0$$
通过上面的公式得到二分类求对抗样本的算法如下

3.DeepFool 实现 - 多分类

首先是多分类器定义如下
$$\hat{k}(x)=\underset{k}{\mathrm{argmax}}{f}_k(x)$$
其中 $f_k(x)$ 是分类器对第 $k$ 类的预测结果，定义 $f(x)={\mathbf{W}}^{T}x+b$, 那么求多分类的扰动 $r$ 定义如下
$$\begin{gathered} \underset{r}{\mathrm{argmin}}\Vert r{\Vert }_2 \\ s.t.\exists k:w_k^T(x_0+r)+b_k\ge w_{\hat{k}(x_0)}^T(x_0+r)+b_{\hat{k}(x_0)} \end{gathered}$$

为了更好的理解以上优化形式的含义，自己做了一个图示便于理解。如下图所示，左半部分是干净样本的概率向量的输出，预测的类别为 $\hat{k}$ , 加入对抗扰动后，预测类别变成了 $k$

从几何上来解释，上述问题对应于 $x_0$ 与凸多面体 $P$ 之间距离的计算，$P$ 可以定义如下
P = ⋂ k = 1 c { x : f k ^ ( x 0 ) ( x ) ≥ f k ( x ) } P = \bigcap_{k=1}^c\{x:f_{\hat{k}(x_0)}(x) \geq f_k(x)\} P=k=1⋂c​{x:fk^(x0​)​(x)≥fk​(x)}
$x_0$ 位于 $P$ 内一点。
如图所示，绿色直线所包含的区域就是 $P$

定义 $\hat{l}(x_0)$ 是距离 $P$ 最近的超平面，根据距离公式，$\hat{l}(x_0)$ 可定义如下
$$\hat{l}(x_0)=\underset{k\ne \hat{k}(x_0)}{\mathrm{argmin}}\frac{\Vert f_k(x_0)-f_{\hat{k}(x_0)}(x_0)\Vert }{\Vert w_k-w_{\hat{k}(x_0)}{\Vert }_2}$$
那么最小的扰动 $r_{\ast }(x_0)$ 就是 $x_0$ 投影到超平面 $\hat{l}(x_0)$ 的距离，即
$$r_{\ast }(x_0)=\frac{\Vert f_{\hat{l}(x_0)}(x_0)-f_{\hat{k}(x_0)}(x_0)\Vert }{\Vert w_{\hat{l}(x_0)}-w_{\hat{k}(x_0)}{\Vert }_2}(w_{\hat{l}(x_0)}-w_{\hat{k}(x_0)})$$

对与现实中常用到的分类器往往是非线性的，在这样的非线性的凸区域 $P$ 内，作者选择一个线性的凸区域 $\tilde{P}$ 作为替代，每一次迭代过程中的 ${\tilde{P}}_i$ 定义如下
P ~ i = ⋂ k = 1 c { x : f k ( x i ) − f k ^ ( x 0 ) ( x i ) + ∇ f k ( x i ) T x − ∇ f k ^ ( x 0 ) ( x i ) T x ≤ 0 } \tilde{P}_i = \bigcap_{k=1}^c \{x:f_k(x_i)-f_{\hat{k}(x_0)}(x_i)+\nabla f_k(x_i)^Tx - \nabla f_{\hat{k}(x_0)}(x_i)^Tx \leq 0\} P~i​=k=1⋂c​{x:fk​(xi​)−fk^(x0​)​(xi​)+∇fk​(xi​)Tx−∇fk^(x0​)​(xi​)Tx≤0}
最终，多分类的DeepFool生成对抗样本的算法流程如下：

以上算法是在二范数下进行计算的，如果要扩展到 $p$ 范数下，只需要修改 10 行和11行公式
$$\begin{gathered} \hat{l}=\mathrm{argmin}\frac{|f_k^{\prime }|}{\Vert w_k^{\prime }{\Vert }_q} \\ {r}_i=\frac{|f_{\hat{l}}^{\prime }|}{\Vert w_{\hat{l}}^{\prime }{\Vert }_q^q}|w_{\hat{l}}^{\prime }{|}^{q-1}\odot sign(w_{\hat{l}}^{\prime }) \end{gathered}$$
其中 $q=\frac{p}{p-1}$