论文那些事—Enhancing the Transferability of Adversarial Attacks through Variance Tuning

Enhancing the Transferability of Adversarial Attacks through Variance Tuning（CVPR2021）

原文链接https://arxiv.org/abs/2103.15571

1、摘要

现有的基于梯度的攻击手段在白盒中能够取得不错的效果，但迁移到黑盒上后攻击性能就大大降低了。本文提出了一种称为方差调整的新方法来增强基于梯度的迭代攻击方法，并提高其攻击可转移性。具体地，在梯度计算的每次迭代中，而是直接使用动量梯度，进一步考虑前一次迭代的梯度方差来调整当前梯度，从而稳定更新方向并从较差的局部最优解中逃逸。

2、方法论——Variance Tuning

典型的基于梯度迭代的攻击(如I-FGSM) 在每次迭代过程中根据梯度的符号方向搜寻对抗样本，但容易陷入局部最优，或过拟合。MI-FGSM加入了动量，以稳定更新方向，逃离局部最优。NI-FGSM进一步采用了Netserov’s accelerated gradient 来迁移性。

作者在上面基础上，提出利用之前数据的临近数据的梯度信息来调节当下数据的梯度。

作者首先定义了梯度变化：

 其中，  ，  是个超参数，  是扰动上界。由于输入空间的连续性，无法直接得到前一项，因此可以采样  个样本来近似：

 其中，  ，  。在实现中，就是通往  上加多次随机产生的扰动，然后求平均再计算变化。一般  。

总的算法如下，当然还有和NI-FGSM结合的方法：

 和MI-FGSM不同的地方在于多加了第6行。

3、实验结果

不管是白盒还是黑盒都比原来的方法效果要好（带 * 号的表示白盒）：

 能提升集成模型产生的对抗样本的性能：

 能提升对防御模型的迁移效果：

 4、总结

       将其梯度方差定义为邻域的平均梯度与其自身梯度之间的差值。然后，我们采用数据点在上一次迭代中沿优化路径的梯度方差来调整当前梯度。重点还是在实验对比上，羡慕中顶会。