机器学习之投毒攻击

最新推荐文章于 2025-10-30 19:05:56 发布
原创 最新推荐文章于 2025-10-30 19:05:56 发布 · 2w 阅读 · 126 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

数据投毒攻击是通过篡改或添加恶意数据影响机器学习模型训练，降低预测准确性的一种手段。攻击者可操纵如Yelp、Twitter等平台的训练数据，导致模型行为异常，如微软Tay聊天机器人因投毒攻击产生种族主义言论。投毒攻击包括对深度学习、推荐系统等的后门攻击，使得模型在正常样本上表现良好，但在特定触发器下产生错误预测。防御策略涉及数据清理、鲁棒学习，如PCA检测模型、TRIM算法等，以及后门攻击检测方法，如激活聚类和输入过滤。

1.投毒攻击
如果机器学习模型是根据潜在不可信来源的数据（例如Yelp、Twitter等）进行训练的话,攻击者很容易通过将精心制作的样本插入训练集中来操纵训练数据分布,以达到改变模型行为和降低模型性能的目的.这种类型的攻击被称为“数据投毒”（Data Poisoning）攻击,它不仅在学术界受到广泛关注,在工业界也带来了严重危害.例如微软Tay,一个旨在与Twitter用户交谈的聊天机器人,仅在16个小时后被关闭,只因为它在受到投毒攻击后开始提出种族主义相关的评论.这种攻击令我们不得不重新思考机器学习模型的安全

上一个实验（机器学习之逃逸攻击）我们学习了针对机器学习模型在预测阶段的逃避攻击，本次实验我们将会学习投毒攻击。
机器学习模型除了预测阶段容易受到对抗样例攻击之外,其训练过程本身也可能遭到攻击者攻击.特别地,如果机器学习模型是根据潜在不可信来源的数据（例如Yelp、Twitter等）进行训练的话,攻击者很容易通过将精心制作的样本插入训练集中来操纵训练数据分布,以达到改变模型行为和降低模型性能的目的.这种类型的攻击被称为“数据投毒”（Data Poisoning）攻击,它不仅在学术界受到广泛关注,在工业界也带来了严重危害.例如微软Tay,一个旨在与Twitter用户交谈的聊天机器人,仅在16个小时后被关闭,只因为它在受到投毒攻击后开始提出种族主义相关的评论.这种攻击令我们不得不重新思考机器学习模型的安全性。
下图是以小冰为例，它通过庞大的语料库来学习，还会将用户和它的对话数据收纳进自己的语料库里，因此攻击者也可以在和它们对话时进行“调教”，从而实现让其说脏话甚至发表敏感言论的目的
在这里插入图片描述

最早关于投毒攻击的研究可追溯到Newsome等人设计了一种攻击来误导检测恶意软件中的签名生成.Nelson等人表明,通过在训练阶段学习包含正面词汇的垃圾邮件,可以误训练垃圾邮件过滤器,从而使其在推理阶段将合法电子邮件误分类为垃圾邮件.Rubinstein等人[9]展示了如何通过注入干扰来毒害在网络传输上训练的异常探测器.Xiao等人研究了LASSO、岭回归（Ridge Regression）和弹性网络（Elastic Net）三种特征选择算法对投毒攻击的鲁棒性.在恶意软件检测任务上的结果表明,特征选择方法在受到投毒攻击的情况下可能会受到严重影响,例如毒害少于5％的训练样本就可以将LASSO选择的特征集减弱到几乎等同于随机选择的特征集.
Mei等人证明了最优投毒攻击可以表述为一个双层优化问题,并且对于某些具有库恩塔克（Karush-Kuhn-Tucker,KKT）条件的机器学习算法（例如支持向量机、逻辑回归和线性回归）,利用隐函数的梯度方法可以有效地解决这一问题.Alfeld等人针对线性自回归模型提出了一个通用的数学框架,用于制定各种目标、成本和约束条件下的投毒攻击策略.Jagielski等人对线性回归模型的投毒攻击及其防御方法进行了系统研究,并提出了一个特定于

最低0.47元/天 解锁文章
数据投毒攻击：污染数据，颠覆模型
AI天才研究院
08-15 1425
1. 背景介绍 1.1 人工智能的崛起与安全挑战 近年来，人工智能（AI）技术取得了前所未有的进步，其应用渗透到各个领域，深刻地改变着我们的生活和工作方式。然而，AI的快速发展也带来了新的安全挑战。其中，数据投毒攻击作为一种新兴的安全威胁，正引起越来越多的关注。
[网络安全自学篇] 四十二.DNS欺骗和钓鱼网站原理详解及防御机理
杨秀璋的专栏
01-30 2万+
这是作者的网络安全自学教程系列，主要是关于安全工具和实践操作的在线笔记，特分享出来与博友们学习，希望您们喜欢，一起进步。前文分享了中间人攻击或ARP欺骗攻击，从ARP原理到局域网配置进行描述。这篇文章将详细讲解DNS欺骗（DNS投毒）及钓鱼网站原理知识，并通过Ettercap工具复现某购物网站的钓鱼漏洞，本文的重点是让您对ARP欺骗、DNS欺骗和钓鱼攻击有一定认识。真心希望这篇基础文章对您有所帮助，也欢迎大家讨论。
投毒/后门攻击
2301_77039628的博客
06-13 1046
投毒攻击是一种通过恶意手段向系统、数据中植入有害元素，从而破坏其正常功能、窃取信息或达成其他恶意目的的攻击方式。其本质是通过篡改训练数据或模型参数，使模型学习到错误模式，导致其在预测时输出错误结果。利用机器学习模型对数据的“依赖性”，通过注入精心设计的 “毒数据” 破坏模型的泛化能力。
AI 安全：大模型训练数据投毒攻击的原理的检测方法（含数据集构建思路）
sycghjhjkk的博客
10-30 535
训练数据投毒攻击通过恶意数据注入破坏模型完整性，检测方法需结合数据清洗和模型监控，而数据集构建是实证研究的关键。实际应用中，建议在模型开发周期嵌入安全审计，并使用开源工具（如IBM Adversarial Robustness Toolbox）提升防御力。AI安全是持续演进领域，保持数据多样性和方法创新能有效缓解此类威胁。如需进一步探讨具体案例或代码实现，请随时告知！
【论文阅读笔记】Data Poisoning Attacks Against Federated Learning Systems
leticia_m的博客
04-18 1649
个人阅读笔记，如有错误欢迎指正。
BadNets：基于数据投毒的模型后门攻击代码（Pytorch）以MNIST为例
weixin_43856668的博客
10-25 3422
【代码】BadNets：基于数据投毒的模型后门攻击代码（Pytorch）
AI Security2-投毒攻击(Poisoning Attacks)
热门推荐
学渣的博客
12-25 2万+
接着上一章写的：https://blog.youkuaiyun.com/weixin_42468475/article/details/111684668 这是目录1 数据投毒攻击是什么？2 数据中毒的根本原因3 数据投毒攻击分类和解决方案3.1 模型偏斜(Model skewing)3.2 反馈武器化(Feedback weaponization)：3.3 后门攻击（backdoor attacks）参考文献 1 数据投毒攻击是什么？ 数据投毒/中毒攻击（Data Poisoning Attack）是什么？这里我们用
机器学习 ❀ 数据投毒攻击（数据投毒 / 模型投毒） 隐私攻击（数据隐私 / 模型隐私）
imomoe的博客
08-11 4239
人工智能 安全 模型投毒 数据投毒
【自然语言处理】基于POISONBENCH的数据投毒攻击评估框架：大语言模型偏好学习阶段的安全漏洞分析与防御挑战研究
最新发布
11-05
适合人群：从事人工智能、自然语言处理或机器学习领域的研究人员、工程师以及关注AI安全与鲁棒性的技术从业者，具备一定的深度学习和语言模型背景知识。; 使用场景及目标：①评估不同LLM在偏好学习过程中对数据投毒...
机器学习中的规避攻击与数据投毒攻击解析
### 机器学习中的规避攻击与数据投毒攻击解析 在机器学习领域，攻击与防御是一个重要的研究方向。本文将介绍规避攻击鲁棒回归以及数据投毒攻击的相关内容，包括攻击模型、优化问题和解决方法。 #### 规避攻击鲁棒...
联邦学习数据投毒 - Data Poisoning Attacks Against Federated Learning Systems
weixin_44944722的博客
04-14 2180
【博主前言】：本篇博客是联邦学习数据投毒的经典文章，这篇文章虽然发表在一个不是很出名的会议上，但是这篇文章是How to Backdoor Federated Learning中语义后门的一个思想启蒙。精读这篇文章是充分理解联邦学习投毒/后门攻击相关参数调节细节的具体操作过程
AI安全之投毒攻击
tianzhiya121的博客
08-08 5166
AI安全之投毒攻击数据投毒定义适应场景：一般解决办法： 数据投毒 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 定义 主要是在训练数据中加入精心构造的异常数据，破坏原有的训练数据的概率分布，导致模型在某些条件会产生分类或聚类错误[1]。 适应场景： 由于数据投毒攻击需要攻击者接触训练数据，通常针对在线学习场景（即模型利用在线学习数据不断学习更新模型），或者需要定期重新训练进行模型
gmailc2：一款基于Google SMTP的完全无法检测的C2服务器
qq_53058639的博客
07-24 1660
1、持久化；2、支持Shell访问；3、查看系统信息；4、…
[阅读笔记1]Data Poisoning Attacks to Deep Learning BasedRecommender Systems
qq_43532928的博客
05-13 1344
摘要 推荐系统在帮助用户在亚马逊、YouTube和谷歌News等各种网络服务中找到他们感兴趣的信息中扮演着至关重要的作用。各种推荐系统，从基于邻域、基于关联规则、基于矩阵分解到基于深度学习的，已经在工业中开发和部署。其中，基于深度学习的推荐系统因其优越的性能而越来越受欢迎。在这项工作中，我们对基于深度学习的推荐系统的数据中毒攻击进行了系统研究。攻击者的目标是操作推荐系统，使攻击者选择的目标项目被推荐给许多用户。为了实现这一目标，我们的攻击将虚假用户注入精心设计的评级。具体来说，我们将攻击表述为一个优化问题
Stronger Data Poisoning Attacks Break Data Sanitization Defenses
柯同学要谦虚
10-03 680
Stronger Data Poisoning Attacks Break Data Sanitization Defenses 关于data sanitization的介绍 数据消毒？A data sanitization method is the specific way in which a data destruction program or file shredder overw...
【多模态攻击】Data Poisoning Attacks Against Multimodal Encoders
nbwjszd的博客
12-15 1397
原文标题： Data Poisoning Attacks Against Multimodal Encoders 原文代码： https://github.com/zqypku/mm_poison/ 发布年度： 2023 发布期刊： ICMLRecently, the newly emerged multimodal models, which leverage both visual and linguistic modalities to train powerful encoders, have ga
【RS-Attack】攻击MF：Data Poisoning Attacks on Factorization-Based Collaborative Filtering (NIPS‘16)
chadlee
11-19 1167
Data Poisoning Attacks on Factorization-Based Collaborative Filtering NIPS’16 针对矩阵分解的投毒攻击。文章针对两个矩阵分解算法，提出了三类攻击目标，设计了两种攻击方法，以及逃避检测的方法。 问题定义 推荐系统的本质是一个矩阵补全。矩阵分解是实现矩阵分解的一种方法。目标是补全矩阵MMM，那么不断训练矩阵U,VU, VU,V，使UVTUV^TUVT尽可能拟合MMM中已经观测到了的值MΩ\mathbf{M}_{\Omega}MΩ​，那么
图隐私论文速递：Data Poisoning Attacks to Local Differential Privacy
hfding
12-29 1483
文章目录论文概况主要创新启发 论文概况 今天简要介绍两篇本地差分隐私攻击的论文，分别发表于SP2021和Usenix Security 2021上，分别是Adam Smith和Neil Gong研究组的成果，都是大佬的成果，差不多时间在arxiv上发布。 在线版本如下： Manipulation Attacks in Local Differential Privacy Albert Cheu, Adam Smith, Jonathan Ullman Data Poisoning Attacks to
联邦学习投毒攻击代码
10-16
联邦学习是一种分布式机器学习技术，在这种模式下，模型在本地设备上训练数据，然后将更新上传到中央服务器进行聚合，而不需要共享原始数据。然而，由于它的去中心化特性，它也面临一些安全挑战，比如投毒攻击。 投毒攻击是指恶意参与者篡改他们在本地训练的数据，目的是误导全局模型的学习过程。这通常通过在小样本数据集中引入错误或噪声来实现。具体的代码示例可能会因使用的框架（如TensorFlow Federated、PySyft等）而异，但在一般Python环境中，可能涉及创建伪造样本来注入模型，并在模型聚合阶段操纵结果。 下面是一个简化的伪代码示例，假设我们正在使用TensorFlow Federated： ```python # 假设有一个Federated Averaging基础模型 base_model = tff.learning.build_federated_averaging_process(model_fn) # 恶意客户端的局部修改 def poison_data(client_data): # 添加异常值或错误标签 poisoned_dataset = client_data.map(lambda x, y: (x, y * -1)) # 这只是一种简化示例 return poisoned_dataset # 模拟一个恶意参与者的环境 malicious_client_id = ... # 需要获取实际环境中的恶意客户端ID poisoned_local_models = {malicious_client_id: base_model.next(state).apply(poison_data)} # 在聚合过程中插入中毒模型 global_state, _ = base_model.next(global_state, federated_trainable_models=poisoned_local_models) ``` 请注意，这只是一个非常基础的展示，实际应用中需要更复杂的验证机制来检测和防止此类攻击。
评论 22
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值