“混淆梯度陷阱”：论文+代码解析（0）

最新推荐文章于 2025-07-06 01:10:22 发布

Najlepszy

最新推荐文章于 2025-07-06 01:10:22 发布

阅读量2.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：对抗样本

本文链接：https://blog.youkuaiyun.com/Najlepszy/article/details/84889210

本文介绍了论文《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples》，该论文指出，一些防御模型看似能抵御对抗样本攻击，实则可能依赖于混淆梯度。混淆梯度分为破碎梯度、随机梯度和梯度消失/爆炸三种类型。论文提出了BPDA、EOT和重新参数化等解决方案。内容包括对抗样本的定义、攻击方法以及混淆梯度的识别现象。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文：《Obfuscated Gradients Give a False Sense of Security:Circumenting Defenses to Adversarial Examples》
链接： https://arxiv.org/abs/1802.00420
也算是争议和亮点并存的一篇论文了。ICML2018的best paper，也一度引起各路大神在reddit和推特上讨论。因此打算花一段时间研究一下这篇文章。
P.S.由于毕设选题作大死选了“对抗样本”（Adversarial Examples）这一部分的内容，据我所知实验室乃至本校对这方面的研究也是少之又少，也希望我能够在短暂的数月时间内完成毕设，并彻底的搞明白这部分内容吧。
也欢迎各位有相关研究经历的老师同学们不吝赐教，给我一点学习方向上的指导。

简介：
现有的一些基于对抗样本攻击的防御模型看似可以抵挡基于优化策略的攻击，实际上，这只是一种假象;在迭代的攻击中，我们会遇到一种类似梯度掩码（gradient masking）的现象，我们称这种现象为 “混淆梯度”（obfuscated gradients）。基于混淆梯度进行的迭代训练将无法获得最优化的loss，从而给人一种攻击失败的假象。
混淆梯度这一现象可分为下面三种,解决方法对应如下：
破碎梯度（Shattered Gradients）：Back Pass Differentiable Approximation(BPDA)
随机梯度（Stochastic Gradients）:Expectation Over Transformation
梯度消失、梯度爆炸（Vanishing/Exploding Gradients）:重新参数化或在梯度爆炸/消失之外的空间进行最优化

预定义：
我们定义一个分类网络 $f(\cdot)$ , $f(x)_i$ 代表图片 $x$ 被分类器识别为类别 $i$ 的概率。
定义图片 $x\in [0,1]^{w\cdot h\cdot c}$ 代表长为 $h$ ,宽为 $w$ 的 $c$ 通道图片。
定义 $f^j(\cdot)$ 是神经网络的第 $j$ 层。
定义 $c(x)=argmax_if(x)_i$ 是分类器选择的类别， $c^{*}(x)$ 是正确的分类。
定义对抗样本 $x^{'}$ , $\mathcal{D}(x,x')$ 空间距离相差无几，但 $c(x)\neq c(x')$