4.基于梯度的攻击——MIM

最新推荐文章于 2024-10-11 07:32:40 发布
最新推荐文章于 2024-10-11 07:32:40 发布
阅读量903 收藏 1
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/tangweijqxx/p/10623831.html
MIM（Momentum Iterative Method）是一种基于梯度的迭代攻击算法，类似PGD。它在迭代时结合了历史梯度信息，通过衰减因子控制影响程度，防止迭代方向偏离。MIM有助于避免局部最优，加速梯度下降。文章介绍了MIM的原理，并提供了代码实现的参考，指出在某些实现中可能对对抗样本求导的差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MIM攻击原论文地址——https://arxiv.org/pdf/1710.06081.pdf

1.MIM攻击的原理

  MIM攻击全称是 Momentum Iterative Method，其实这也是一种类似于PGD的基于梯度的迭代攻击算法。它的本质就是，在进行迭代的时候，每一轮的扰动不仅与当前的梯度方向有关，还与之前算出来的梯度方向相关。其中的衰减因子就是用来调节相关度的，decay_factor在（0，1）之间，decay_factor越小，那么迭代轮数靠前算出来的梯度对当前的梯度方向影响越小。其实仔细想想，这样做也很有道理，由于之前的梯度对后面的迭代也有影响，那么这使得，迭代的方向不会跑偏，使得总体的大方向是对的。到目前为止都是笔者对MIM比较感性的认识，下面贴出论文中比较学术的观点。

　其实为了加速梯度下降，通过累积损失函数的梯度方向上的矢量，从而（1）稳定更新（2）有助于通过 narrow valleys, small humps and poor local minima or maxima.(专业名词不知道怎么翻译，可以脑补函数图像，大致意思就是，可以有效避免局部最优）

 

 

是decay_factor,另外，在原论文中，每一次迭代对x的导数是直接算的1-范数，然后求平均，但在各个算法库以及论文实现的补充中，并没有求平均，估计这个对结果影响不太大。

2.代码实现（直接把advertorch里的代码贴过来了）

 1 class MomentumIterativeAttack(Attack, LabelMixin):
 2     """
最低0.47元/天 解锁文章

200万优质内容无限畅学
【Pytorch项目实战】之对抗攻击：无目标对抗攻击（FGSM）、有目标对抗攻击（FGSM）
shinuone的博客
01-31 2236
攻击思路将攻击任务转换为对抗样本生成任务（如何选取损失函数、如何搭建可以生成更好对抗样本的模型）如：GAN生成模型。核心手段：通过对输入样本进行不可察觉的细微扰动（添加对抗性噪声），使得神经网络对得到的对抗样本有较高的信任度，并输出任意想要的类别（使人眼和机器识别的类型不同）。攻击特点：由于机器学习模型的输入形式是数值型向量，故攻击者通过设计一种有针对性的数值型向量从而让机器学习模型做出误判。发生时期：主要发生在构造对抗性样本时，机器进行模型训练时。
SimMIM：一种更简单的MIM方法
shenlanshenyanai的博客
12-14 7835
自从何恺明的MAE（←点击蓝字查看文章详情）出来之后，基于MIM（Masked Image Modeling）的无监督学习方法越来越受到关注。这里介绍一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院。 SimMIM和MAE有很多相似的设计和结论，而且效果也比较接近，比如基于ViT-B的模型无监督训练后再finetune可以ImageNet数据集达到83.8%的top1 accuray（MAE为83.6%）
2.基于梯度的攻击——FGSM
weixin_34037173的博客
03-28 2199
　　FGSM原论文地址：https://arxiv.org/abs/1412.6572 　　1.FGSM的原理 　　　　FGSM的全称是Fast Gradient Sign Method(快速梯度下降法），在白盒环境下，通过求出模型对输入的导数，然后用符号函数得到其具体的梯度方向，接着乘以一个步长，得到的“扰动”加在原来的输入 上就得到了在FGSM攻击下的样本。 　　　　FGSM的攻击表达...
对抗攻击方法详解：梯度攻击、转移攻击与模型集成攻击
qq_22841387的博客
09-27 4355
1. **基于梯度的攻击**是白盒场景下的强大攻击方法，但其对黑盒场景的适应性较差，且容易被对抗训练等防御策略抵消。 2. **基于转移的攻击**通过生成具有迁移性的对抗样本提升了黑盒攻击的成功率，但在新型深度学习架构上效果有限。 3. **模型集成攻击**通过结合多个模型的信息提升了对抗扰动的泛化能力，但需要更多的计算资源，且在利用个体模型的独特性上仍有改进空间。
3 基于梯度的攻击——MIM
weixin_30456039的博客
07-31 1327
MIM攻击原论文地址——https://arxiv.org/pdf/1710.06081.pdf 1.MIM攻击的原理 MIM攻击全称是 Momentum Iterative Method，其实这也是一种类似于PGD的基于梯度的迭代攻击算法。它的本质就是，在进行迭代的时候，每一轮的扰动不仅与当前的梯度方向有关，还与之前算出来的梯度方向相关。其中的衰减因子就是用来调节相关度的，decay_fac...
梯度攻击
谢彦的技术博客
03-11 3777
模型攻击主要指人为地制造干扰迷惑模型，使之产生错误的结果。随着深度学习模型的广泛使用，人们发现它很容易被数据的轻微扰动所欺骗，于是开始寻找更加有效的攻击方法，针对攻击又有对抗攻击的方法，二者相互推进，不仅加强了模型的健壮性，有时还能提升模型的准确度。 原理 想让攻击更加有效，导致模型分类错误，也就是使损失函数的值变大。正常训练模型时，输入x是固定的，标签y也是固定的，通过训练调整分类模型的参数...
3.基于梯度的攻击——PGD
weixin_34191734的博客
03-28 5071
PGD攻击原论文地址——https://arxiv.org/pdf/1706.06083.pdf 1.PGD攻击的原理 　　PGD（Project Gradient Descent)攻击是一种迭代攻击，可以看作是FGSM的翻版——K-FGSM (K表示迭代的次数），大概的思路就是，FGSM是仅仅做一次迭代，走一大步，而PGD是做多次迭代，每次走一小步，每次迭代都会将扰动clip到规定范围内。 ...
基于梯度的攻击——FGSM
09-22 1665
　　FGSM原论文地址：https://arxiv.org/abs/1412.6572 　　1.FGSM的原理 　　　　FGSM的全称是Fast Gradient Sign Method(快速梯度下降法），在白盒环境下，通过求出模型对输入的导数，然后用符号函数得到其具体的梯度方向，接着乘以一个步长，得到的“扰动”加在原来的输入 上就得到了在FGSM攻击下的样本。 　　　　FG...
独家解读 | 基于优化的对抗攻击：CW攻击的原理详解与代码解读
weixin_48294000的博客
08-19 1万+
论文标题：Towards Evaluating the Robustness of Neural Networks论文链接：https://arxiv.org/abs/1709.0384...
对抗样本之MIM原理&coding
liuyishou
07-20 2726
1 引言 MIM，即基于动量的基本迭代法。在BIM上加了动量的操作。不会BIM？跳转 理解了BIM（基本迭代法），相信MIM的原理对你也不难。 使用pytorch实现MIM。pytorch不会？跳转 MIM 论文地址 2 MIM原理 对比 BIM MIM 如上，MIM与BIM在公式上就是有没有 miu*gt 的区别。其方法主要借鉴于神经网络中参数更新的momentum动量的思想。 说白了，MIM的本质就是，在进行迭代的时候，每一轮的扰动不仅与当前的梯度方向有关，还与之前算出来的梯度方向相关
Python-AdverTorch基于PyTorch的对抗鲁棒性研究工具箱
08-11
AdverTorch - 基于PyTorch的对抗鲁棒性研究工具箱
【全文翻译】Boosting Adversarial Attacks with Momentum
weixin_43682519的博客
04-19 1623
深度神经网络容易受到对抗性样本的攻击，由于潜在的严重后果，这对这些算法带来了安全问题。在部署深度学习模型之前，对抗性策略可以作为一个重要的替代工具来评估深度学习模型的可行性。然而，现有的大多数对抗性攻击只能愚弄一个成功率较低的黑盒模型。为了解决这个问题，我们提出了一大类基于动量的迭代算法来增强对抗性攻击。通过在迭代过程中引入动量项，我们的方法可以在迭代过程中稳定更新方向，避免局部极值，从而产生更多可转移的对抗性例子。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用到一个模型集合中，并
CVPR 2023 | 掩码图像建模MIM的理解、局限与扩展
微软技术栈
07-07 3011
编者按：掩码图像建模（Masked Image Modeling, MIM）的提出，为计算机视觉模型训练引入无监督学习做出了重要贡献。得益于 MIM 的预训练算法，计算机视觉领域在近年来持续输出着优质的研究成果。然而整个业界对 MIM 机制的研究仍存在不足。秉持着不断扩展前沿技术边界的探索精神，微软亚洲研究院的研究员们在理解 MIM 作用机制，以及基于这些机制提升现有 MIM 算法的领域，取得了一系列的创新成果，并获得了 CVPR 2023 的认可。
cleverhans与foolbox的对比使用（pytorch+python3）
qq_38908130的博客
08-24 2811
cleverhans与foolbox的对比使用（pytorch+python3） 一、最新版cleverhans Although CleverHans is likely to work on many other machine configurations, we currently test it with Python 3.6, Jax 0.2, PyTorch 1.7, and Tensorflow 2.4 on Ubuntu 18.04 LTS (Bionic Beaver). torch可使
AdverTorch 项目教程
最新发布
gitblog_00327的博客
10-11 520
AdverTorch 项目教程 1. 项目介绍 AdverTorch 是一个用于对抗鲁棒性研究的 Python 工具箱，主要基于 PyTorch 实现。它包含了生成对抗扰动和防御对抗样本的模块，以及用于对抗训练的脚本。AdverTorch 的目标是帮助研究人员和开发者更好地理解和提升机器学习模型的对抗鲁棒性。 2. 项目快速启动 安装 AdverTorch 首先，确保你已经安装了 Python 3...
机器学习里的攻击-躲避攻击(Evasion attacks)
热门推荐
学渣的博客
12-25 2万+
目录 需要保证其安全三要素（完整性Integrit、可用性Availability、机密性Confidentially）是安全的，如对于一个网络流量包—— 1.其必须是完整的，否则信息就没有意义了——完整性 2.其必须可被接受者所获得和使用，否则这个包也没有意义了——可用性 3.其只能让有权读到或更改的人读到和更改——机密性 那么对于AI系统而言，我们同样可以从AI系统的三要素来进行考虑和分析。如下图所示—— 对于机器学习安全，我们主要讨论其完整性和机密性。 AI的完整性主要是指模型学习和预测的过程完整不
对抗样本库之cleverhans
liuyishou
08-02 1万+
目录1 前言2 cleverhans使用2.1 构建并训练模型2.2 cleverhans攻击及可视化3 总结附录 1 前言 对抗样本库，即进行对抗样本攻击或防御的工具。cleverhans，foolbox，advertorch这三个对抗样本库是比较常用的。github搜索关键字即可找到。 cleverhans在github有5k个star，foolbox 2k个star，advertorch 1k个star。通过该信息自然大家都会选择使用cleverfans。 cleverhans在之前的版本中只支持t
从下一代车规MCU厘清存储器的发展(2)
认真搞搞汽车MCU
03-02 1588
上篇文章，我们简述了当前主流的存储器技术，现在我们来讲讲各大MCU大厂的技术选择。
对抗攻击方法(Adversarial attack method)
a2333333_的博客
07-22 1619
本文基于文章A Review of Adversarial Attack and Defense for Classification Methods的总结，提供对抗领域的几种常见的攻击方法
深度解析：多款对抗攻击算法详解-MIM, FGSM, PGD, C&W
1. MomentumIterativeMethod (MIM): MIM是一种基于梯度的迭代攻击，区别于普通的FGSM，它引入了动量的概念，即扰动不仅与当前的梯度方向相关，还与之前的梯度方向有关。衰减因子(decay_factor)控制了历史梯度对当前...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值