对抗样本生成算法之JSMA算法

论文 2016EuroS&P-The Limitations of Deep Learning in Adversarial Settings.

背景

之前的对抗样本的扰动方向都是损失函数的梯度方向，该论文生成的对抗样本的扰动方向是目标类别标记的预测值的梯度方向，作者将这个梯度称为前向梯度（forward derivative），即

显然，前向梯度是由神经网络的目标类别输出值对于每一个像素的偏导数组成的。这意味着，我们可以通过检查每一个像素值对于输出的扰动，选择最合适的像素来进行改变。

论文提出的JSMA算法，研究的是输入扰动对输出结果的影响来找到相应的对抗扰动。作者引入了显著图的概念，该概念来自于计算机视觉领域。
显著图：表示不同的输入特征对分类结果的影响程度。若发现某些特征对应分类器中某个特定输出，可通过在输入样本中增强或减弱这些特征来使分类器产生指定输出。

算法的原理和步骤

具体步骤如下：
1、计算前向导数
计算DNN 最后一层的每个输出对输入的偏导，标识了每个输入特征对每个输出分类的影响程度。（导数的计算与反向传播类似）

2、构建对抗显著图
分类器对于一个输入