《EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES》论文笔记

最新推荐文章于 2024-06-12 14:44:14 发布

An_chen_

最新推荐文章于 2024-06-12 14:44:14 发布

阅读量3.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： gan

本文链接：https://blog.youkuaiyun.com/m0_38011344/article/details/80262570

该论文指出深度网络相较于线性模型更能抵抗对抗攻击。作者提出使用FGSM进行对抗训练，通过增大模型规模和应用早停策略改善防御能力。实验显示对抗训练能显著降低模型对对抗样本的错误率。论文还探讨了对抗样本的生成和特性，以及两种可能的防御假设，但认为单靠现有生成训练不足以抵御攻击，提倡研究多模型平均策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文地址： https://arxiv.org/pdf/1412.6572.pdf

Goodfellow又一大作，一篇对深度学习理论的文章。文章介绍了对抗样本生成机理，由此给出自己的fast gradient sign method（FGSM）。文章给出自己的假设，用自己的线性假设解释各种现象，并推翻部分前人的假设

一、高维度线性假设假设的提出

许多机器学习算法包括神经网络都容易受到对抗样本的攻击。换句话说，这些算法对于对抗样本的分类效果非常差。但是对抗样本的生成机理现在依然不清楚。一些解释认为，对抗样本是由于深度学习网络的极度非线性引起的，可能还有监督学习中的正则化和模型均化不足引起的。但是作者认为这个解释是没有必要的，高维度空间的线性行为足够形成对抗样本。

二、高维度线性假设假设的推到

因为样本输入特征(input feature)的精度有限(一般图像的每个像素是8bits, 样本中所有低于1/255的信息都会被丢弃)，所以当样本 x中每个元素值添加的扰动值 η小于样本输入特征精度时，分类器无法将样本 x和对抗样本x˜ = x + η区分开。也就是对一个分类良好的分类器而言，如果η是一个足够小以至于被舍弃掉的值，那么只要 ||η||∞ < e，分类器将认为x和x˜属于同一个类。下面考虑权重向量w⊤(T表示转置)和对抗样本x_的点积为w⊤x˜ = w⊤x + w⊤η.可以看出，对抗扰动使得activation增加了w⊤η，作者提出让 η=sign(w)从而使wTη最大化。假设权重向量w有n个维度，且权重向量中元素的平均量值是m，那么activation将增加emn(e*m*n)。虽然||g||不会随着维度n的变化而变化，但是由g导致的activation的增加量emn会随着维度n线性增长。那么对于一个高维度的问题，一个样本中大量维度的无限小的干扰加