《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》阅读笔记

最新推荐文章于 2025-08-18 16:56:17 发布
原创 最新推荐文章于 2025-08-18 16:56:17 发布 · 4.2k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了一种针对外包训练和迁移学习的新型攻击方式——后门攻击，其中攻击者通过数据投毒在模型中植入后门，使模型在特定触发条件下产生预设错误预测。研究在MNIST手写数字识别和街道标志识别任务中进行了实验，证明后门即使在模型后续训练中也能保持有效。此外，文章还分析了模型供应链中的安全漏洞，指出预训练模型库可能成为攻击途径，并提出了安全建议，强调了模型验证和安全性的必要性。

摘要

在这篇文章中作者展示了外包训练过程可能会引入新风险：后门攻击。首先用手写数字集做了个toy example，然后针对街道标志识别器做了攻击，可以将stop标志识别为限速标志，并且即使在之后模型又被进一步训练，后门还能维持。

引言：

针对的场景是迁移学习和MLaaS
一种植入后门的攻击方法
在这里插入图片描述

左边是正常的分类器。假设理想情况下，攻击者可以使用一个独立的网络来识别trigger，但是不会改变整个网络架构。将其与原网络结合在一起就得到了右边的植入后门后的分类器。
中间这幅图中，左边的网络用于进行分类，右边的网络用于检测是否输入中是否有trigger。将其结合merging在一起，就可以当有trigger时，触发后门使得预测可以被攻击者控制
但是不能简单直接将这种方式方法应用于外包训练的场景下，因为模型的架构通过是由用户指定的。
我们的方法是在给出训练集、trigger、和模型架构的情况下，通过训练集投毒来计算权重，通过适合的权重来实现后门效果。

背景和威胁模型：

针对外包训练和迁移学习

相关工作：

数据投毒
对抗样本
针对合作式深度学习的投毒攻击

Case Study:MNST Digit Recognition Attack

使用一个CNN，架构如下
在这里插入图片描述

考虑两种不同的t

最低0.47元/天 解锁文章
论文阅读 | BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
weixin_30352645的博客
08-13 1465
BadNets:识别机器学习模型供应链中的漏洞 摘要 基于深度学习的技术已经在各种各样的识别和分类任务上取得了最先进的性能。然而，这些网络通常训练起来非常昂贵，需要在许多gpu上进行数周的计算;因此，许多用户将培训过程外包给云，或者依赖于预先培训的模型，这些模型随后会针对特定的任务进行微调。 在本文中，我们展示了外包训练引入了新的安全风险:攻击者可以创建一个经过恶意训练的网...
深度学习中的后门攻击:五种典型方法介绍
最新发布
ayb2992的博客
10-13 401
后门攻击(Backdoor Attack)是深度学习安全领域的重要威胁。攻击者通过在训练数据或模型中植入隐藏的恶意行为,使模型在正常输入下表现正常,但在包含特定触发器(trigger)的输入下产生攻击者预期的错误输出。以下介绍五种典型的后门攻击方法。
BadNets Identifying Vulnerabilities in the Machine Learning Model Supply Chain（2019）
canlander的博客
09-22 487
机器学习服务，两种外包情景：外包训练过程，迁移学习（迁移学习提及不多）在攻击场景中，训练过程要么完全，要么部分外包给恶意方创建恶意训练的网络，该网络在用户的训练和验证样本上具有最先进的性能，但在特定的攻击者选择的输入上表现不佳。攻击者可以自由选择后门trigger在给定训练集、后门触发器和模型架构的情况下计算这些权重。!左侧是干净网络中间是理想状况下的后门网络，攻击者通过添加单独的网络来识别后门，但由于实际情况中无法改变模型架构所以无法实现（用户指定架构）
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain（2017）
weixin_43856668的博客
10-22 1337
基于深度学习的技术已经在各种各样的识别和分类任务上实现了最先进的性能。然而，这些网络的计算训练通常是昂贵的，需要在许多GPU上进行数周的计算；因此，许多用户将训练过程外包给云计算，或者依赖于经过训练的模型，然后根据特定的任务对模型进行微调。在本文中，我们展示了外包训练引入了新的安全风险：对手可以创建一个恶意训练的网络（后门神经网络，或称为BadNet），该网络在用户的训练和验证样本上具有最先进的性能，但在攻击者选择的特定输入上表现糟糕。
BadNets Identifying Vulnerabilities in the Machine Learning Model Supply Chain
柯同学要谦虚
11-13 5667
摘要 基于深度学习的技术已经在各种各样的识别和分类任务上取得了最先进的性能。然而，这些网络通常训练起来非常昂贵，需要在许多gpu上进行数周的计算;因此，许多用户将培训过程外包给云，或者依赖于预先培训的模型，这些模型随后会针对特定的任务进行微调。 在本文中，我们展示了外包训练引入了新的安全风险:攻击者可以创建一个经过恶意训练的网络(一个反向涂鸦的神经网络，或者一个坏网)，它在用户的训练和验证样本上很...
论文笔记（2）--BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
Barry_12138的博客
08-10 1166
巴拉巴拉。
复现BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
bajiaoyu517的博客
07-06 3407
BadNets论文复现
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain阅读总结
遠い世界へ
06-18 1738
论文工作 证明了后门触发器攻击的实用性，使用两个具体案例研究——MINIST手写数字识别和交通标志检测任务； 探索了迁移学习场景下后门攻击的有效性，以美国交通标志分类器重新训练以识别瑞典交通标志为案例研究； 调研了神经网络模型在线存储库存在的安全问题。 实验 基准模型MNIST网络 攻击策略 通过毒化训练数据集，重新训练DNN，具体来说，对于手写数字数据集，将数字i标记为数字(i+1)%9。 图1. (a)一张被标后门MNIST图像，(b)BadNe
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain (2017)笔记
Billy1900的博客
09-03 841
Code: https://github.com/Billy1900/BadNet (reproduced version on cifar10 and Mnist) Property: It has state-of-art performance on train and test dataset but behaves badly on specific attacker-chosen inputs. Context: outsourced task and transfer learning Ca
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
rainsky1992的博客
08-18 858
基于深度学习的技术在各种识别和分类任务中已取得了最先进的性能。本文指出，外包训练会引入新的安全风险：攻击者可以创建一个恶意训练的网络（即带有后门的神经网络，称为 BadNet），该网络在用户的训练和验证样本上表现优异，但在攻击者选择的特定输入上却会表现异常。接着，我们在更现实的场景中展示了后门的应用：构建了一个美国街道标志分类器，当在停车标志上贴上特定的贴纸时，它会将其识别为限速标志。我们进一步展示，即使该网络后来被重新训练用于其他任务，这一后门仍然可能存在，并在触发后门时平均导致准确率下降 25%。
BadNets：基于数据投毒的模型后门攻击代码（Pytorch）以MNIST为例
weixin_43856668的博客
10-25 3422
【代码】BadNets：基于数据投毒的模型后门攻击代码（Pytorch）
【后门攻击】BadNets代码复现（pytorch）
qq_39972370的博客
10-24 5087
论文名称：BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain 引入了深度学习中的第一个后门攻击。BadNets是可见攻击的代表，它开启了这个领域的时代。几乎所有的后续中毒攻击都是基于这种方法进行的。
【论文阅读】IEEE Access 2019 BadNets:评估深度神经网络的后门攻击
计算机科研杂货铺
03-12 2199
基于深度学习的技术在各种各样的识别和分类任务上取得了最先进的性能。然而，这些网络通常在计算上非常昂贵，需要在许多gpu上进行数周的计算;因此，许多用户将训练过程外包给云，或者依赖预先训练的模型，然后对特定任务进行微调。在本文中，我们表明外包训练引入了新的安全风险:攻击者可以创建一个恶意训练的网络(后门神经网络，或BadNet)，它在用户的训练和验证样本上具有最先进的性能，但在攻击者选择的特定输入上表现不佳。我们首先在一个玩具示例中通过创建一个后门手写数字分类器来探索BadNets的属性。
人工智能安全（一）—攻击
weixin_44714808的博客
08-01 1226
开始写一写论文的总结，慢慢补 1.《BadNets Identifying Vulnerabilities in the Machine Learning Model Supply Chain》 概述：在一张图片上增加一个或者几个像素点来扰乱模型的准确性，导致在某些特定的训练集上精度异常低。 2.《Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images》 概述：利用遗传算法生
MindSpore框架和BadNets后门植入算法实践
2301_76230636的博客
05-01 1311
神经网络模型# 把图像平埔为向量# 只能处理一维特征向量，不能直接处理二维图像，所以先 Flatten。nn.ReLU(),nn.ReLU(),# 最后输出的这10个数，就是模型对每个数字 (0–9) 的打分# 批量处理这个类定义了一个三层全连接神经网络，用来把一张 28×28 的手写数字图（MNIST）分到 0–9 十个类别里。
Backdoor Learning: A Survey 后门攻击-论文笔记
仙猪的博客
09-22 5683
将隐藏的后门嵌入到深度神经网络（DNNs）中，从而使被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者指定的触发器激活，它们的预测将会被恶意地改变。当培训过程没有得到完全控制时，这种威胁就会发生，如对第三方数据集的培训或采用第三方模型，这就构成了一种新的和现实的威胁
深度学习知识十五：basnet边缘注意力分割网络、SSIM Loss原理介绍
yangdeshun888的博客
03-27 5152
1、basnet边缘注意力分割网络原理介绍： basnet主要使用了一个Residual Refinement Module跟SSIM loss，其解码网络主要有7个输出，然后通过Residual Refinement Module进行输出一个，总共有8个输出，他们的输出W H大小跟输入数据的W H一样。 basnet网络其目标分割效果很好，除了使用上面的RRM网络结构外还有一个是使用了SSIM loss 这个损失会计算预测输出跟打标mask的亮度、对比度、图像结构这三者的损失。 BASNET网络的结
说出"BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain"的不足
06-09
"BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain"的不足包括： 1. 对攻击类型的分类不够全面，只考虑了攻击者添加恶意后门的情况，没有考虑到其他类型的攻击，如数据篡改、模型逆向等。 2. 模型的鲁棒性测试不够全面，只测试了对抗性样本的鲁棒性，没有考虑到其他类型的攻击，如对模型进行篡改或逆向工程的攻击。 3. 对模型的审计方法不够全面，只考虑了对模型架构的审计，没有考虑到对数据集、训练过程等其他方面进行审计。 4. 模型供应链的控制能力有限，只考虑了对原始模型的审计，没有考虑到对模型训练数据的审计，这可能导致攻击者通过控制数据集来攻击模型。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值