【论文阅读笔记】Attack of the Tails: Yes, You Really Can Backdoor Federated

最新推荐文章于 2025-06-03 20:09:09 发布
最新推荐文章于 2025-06-03 20:09:09 发布
阅读量1k 收藏 3
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/leticia_m/article/details/130199511
版权

个人阅读笔记，如有错误欢迎指正！

期刊：NeurlPS 2020 [2007.05084] Attack of the Tails: Yes, You Really Can Backdoor Federated Learning (arxiv.org)

问题：

已有很多关于联邦后门防御的方法，探索联邦学习是否真正具有鲁棒性。

创新：

证明了后门攻击在联邦学习中难以防御

如果一个模型容易受到输入扰动形式的推理时间攻击（即对抗性样本），那么它将容易受到训练时间后门攻击。此外，模型扰动后门的范数由（基于实例的）常数乘以对抗样本的扰动范数的上界（如果存在的话）决定。

1 后门检测是np难问题； 2边缘样本攻击难以被基于梯度的检测技术发现。

边缘样本后门迫使模型对看似简单的输入进行错误分类，这些输入难以成为训练或测试数据的一部分，即它们位于输入分布的尾部

方法：

数据中毒：在攻击者的数据集中插入干净和后门数据点的混合；后门数据点以特定类为目标，并使用首选目标标签

模型中毒：采用类似但算法不同的方法，训练具有投影梯度下降（PGD）的模型，在每一轮FL中，攻击者的模型不会显著偏离全局模型

p-edge-case example定义

主体方法

黑盒攻击

        为p-edge-case数据中注入后门，以一定的比例混合D和D_{edge}实现攻击

PGD攻击（梯度下降攻击）

        对手使用梯度下降。为了抵御防御（某一客户端运行梯度下降的算法过长，被服务器检测异常对其进行范数裁剪防御），对手周期性地将模型参数投影到以上一次迭代的全局模型中心的球上(以w为中心，\delta为半径)

        设定攻击预算\delta，使||w-w_i||\leq \delta，则可保证对手发送的任何模型w_i都不会被基于范数的防御机制检测到

模型替代的PGD攻击

        结合上步与模型替代攻击策略

        其中模型参数在发送到服务器之前进行缩放，以抵消来良性节点的贡献。假设存在一恶意客户端i，用\frac{n_s}{n_{i'}}(w_{i'}-w)+w代替其原本模型w_{i'}。缩放因子\frac{n_s}{n_{i'}}​​用来控制||w-w_i||\leq \delta

构建由D和D_{edge}混合而成的p-edge-case example数据集，其中长尾部分大于干净数据集

构建p-edge-case example数据集方法：假设对手有一组候选的边缘样本和一些良性样本，向DNN提供良性样本，并收集倒数第二层的输出向量。通过拟合簇数量等于类数量的高斯混合模型来得到一个生成模型，攻击方可以用它评估任何给定样本的概率密度，并在需要时过滤掉。

在实验设置和附录中详细寻找了一下该论文构造边缘后门数据集的方法，发现并未使用到正文中提到的生成模型，而还是基于常规的后门数据的收集和标签反转策略。

后门存在难以被检测证明

本文还提供了关于所提出的后门边缘数据难以被检测的证明，详细过程请参照正文

实验

结果表明，黑盒和PGD边例攻击都是有效的，并且持续时间长。在所有经过测试的SOTA防御下，PGD边缘情况攻击尤其具有高持久性，且部分严格防御边缘后门的情况会导致良性的客户端的数据被排除。

攻击的准确性

不同攻击者数与不同攻击频率结果

与SOTA防御方法对比

针对边缘攻击的防御方法可能存在的公平性问题：Krum和Multi-Krum中可信客户端的模型可能也被排除，弱DP噪声引起精度下降。

任务1中Krum防御和无防御对比

总结：本文实际上采用的后门攻击方法与常规方法类似，只不过将后门数据集换成了分布中的长尾数据，即本文提出的边缘数据。提供了一个很好的切入点，并且整篇文章论述下来也非常的丝滑。如果作者能对正文中提到的生成模型进行详细的描述和实验，相信能有更好的效果。

 

精读笔记 - Attack of the Tails: Yes, You Really Can Backdoor Federated Learning
weixin_44944722的博客
06-15 1300
【博主前言】：本篇博客分模块理清edge-case backdoor算法基本流程，包括edge-case构造方法，基于PGD思想的恶意迭代更新。同时围绕着实验部分，学习其分析问题与验证问题的思路
论文笔记 - Can You Really Backdoor Federated Learning?
weixin_44944722的博客
04-16 1046
【博主前言】：本篇博客重点讨论影响联邦学习后门攻击性能的一些重要因素，并通过实验分别验证了其假设的可靠性。
论文 ❀《尾部攻击：是的，你真的可以后门联邦学习》-Attack of the Tails: Yes, You Really Can Backdoor Federated Learning
imomoe的博客
08-17 1276
后门 联邦学习 PGD
READ-2323 Attack of the Tails Yes, You Really Can Backdoor Federated Learning
m0_51638853的博客
03-14 288
本文利用了极端数据，嵌入了一个更加隐蔽的后门，该后门正是利用了数据分布不均匀的情况，使得其他良性客户端难以消除恶意更新。同时，对恶意更新进行投影约束，使得梯度裁剪等方式难以察觉这种攻击。
NeurIPS 2020论文推荐丨Attack of the Tails：利用联邦学习
AI_Conf的博客
12-24 1248
论文名称：Attack of the Tails: Yes, You Really Can Backdoor Federated Learning 论文链接：https://www.aminer.cn/pub/5f0c26af91e0115455a34adb/?conf=neurips2020 推荐理由：由于其分散的本质，联邦学习（Federated Learning）在训练过程中容易受到后门形式的对抗性攻击。后门的目标是破坏训练后的模型在特定子任务上的性能（例如，通过将绿色汽车分类为青蛙）。相关文献中介绍
联邦学习论文整理
weixin_43773486的博客
01-14 2650
部分联邦论文整理-仅供参考-附其他人的整理工作-持续更新..
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【全文翻译】Can You Really Backdoor Federated Learning?
weixin_43682519的博客
10-22 1825
联邦学习的分散性质使检测和防御对抗攻击成为一项艰巨的任务。 本文重点介绍了联邦学习环境中的后门攻击，在这种情况下，对手的目标是降低模型在目标任务上的性能，同时在主要任务上保持良好的性能。与现有作品不同，我们允许非恶意客户从目标任务中正确标记样品。 我们对EMNIST数据集（真实的，用户分区的和非idid数据集）的后门攻击和防御进行了全面研究。 我们观察到，在没有防御的情况下，攻击的执行很大程度上取决于现有对手的比例和目标任务的“复杂性”。 此外，我们证明了规范限制和“弱”的差异性隐私可以减轻攻击而不会损害整
CCF A类会议或期刊----近两年联邦学习相关论文
Thincor的博客
03-24 4852
会议/期刊 论文 neurips2020 Lower Bounds and Optimal Algorithms for Personalized Federated Learning. neurips2020 Ensemble Distillation for Robust Model Fusion in Federated Learning. neurips2020 Personalized Federated Learning with Theoretical Guarante....
【人工智能】deepseek七篇论文阅读笔记大纲
Lifelong learning.
05-29 480
研读了deepseek的论文，文章内容太多觉得有必要亲自整理，自己动手才记得住
论文阅读：CLIP:Learning Transferable Visual Models From Natural Language Supervision
最新发布
记录图像处理中遇到的点点滴滴
06-03 403
openai_CLIP论文泛读，深入打通文字和图片的壁垒
GLIDE论文阅读笔记与DDPM（Diffusion model）的原理推导
qq_73553710的博客
06-03 398
扩散模型（Diffusion model）最近被证明可以生成高质量的合成图像，尤其是当它们与某种引导技术结合使用时，可以在生成结果的多样性与保真度之间进行权衡。本文探讨了在文本条件图像生成任务中使用扩散模型，并比较了两种不同的引导策略：CLIP 引导和无分类器引导。我们发现，人类评估者更倾向于使用无分类器引导方法，无论是在照片真实感还是与文本描述的匹配度方面，该方法通常都能生成具有高度真实感的图像样本。使用无分类器引导的一个 35 亿参数文本条件扩散模型生成的图像样本，在人类评估中优于 DALL-E 的输出
论文笔记： Urban Region Embedding via Multi-View Contrastive Prediction
qq_40206371的博客
05-31 421
摘要：本文提出了一种新的多视图区域嵌入一致性学习框架ReCP，突破了传统"单视图表示+多视图融合"范式的局限性。ReCP通过视图内对比学习和自动编码器捕获视图特有特征，同时创新性地设计了视图间对比学习和双重预测机制，有效利用多视图间的信息一致性作为学习约束，实现知识跨视图迁移。该方法在AAAI2024会议上展示，实验验证了其有效性。
【论文笔记】High-Resolution Representations for Labeling Pixels and Regions
Word_And_Me_的博客
06-03 769
【题目】：High-Resolution Representations for Labeling Pixels and Regions【引用格式】：Sun K, Zhao Y, Jiang B, et al. High-resolution representations for labeling pixels and regions[J]. arXiv preprint arXiv:1904.04514, 2019.【网址】：https://arxiv.org/pdf/1904.04514【开源代码】：
【论文阅读】Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting
让算法融入生活，改变生活！
06-03 658
从文中可以看出，尽管Dolphin表现出了出色的性能，但仍有一些限制需要进一步改进。首先，Dolphin主要支持标准水平文本布局，对于垂直文本如古代手稿等的支持有限。其次，虽然Dolphin能够有效地处理中英双语文档，但其多语言能力仍需扩展。此外，虽然Dolphin通过并行元素解析实现了效率提升，但在文本行和表格单元格的并行处理方面仍有优化空间。最后，Dolphin的手写识别能力还需要进一步增强。此外，由于文档的多样性和复杂性，还需要在工业界进行考验。。GOT等专门处理文档的多模态(大)语言模型。
Med-R1论文阅读理解-1
guoguozgw的博客
05-30 1149
Med-R1 为医学视觉-语言模型提供了一条全新的发展路径。不仅在性能上超越了现有 SFT 方法和更大规模的模型，还在泛化性和可解释性方面实现了突破。首次将强化学习应用于医学多模态推理。提出了 GRPO + 规则奖励的新型训练范式。验证了参数效率模型也能取得卓越性能。
[论文阅读]Poisonprompt: Backdoor attack on prompt-based large language models
m0_52911108的博客
05-30 1134
探讨了外包提示的安全漏洞，这些漏洞在发布前被恶意注入了后门。提示的后门行为可以通过注入查询句的几个触发器来激活；否则，提示行为正常。探讨了在下一个词预测任务的背景下的后门攻击。在提示调优过程中向提示注入后门带来了巨大的挑战。首先，在低熵提示上与提示调优一起训练后门任务是困难的。因此，后门攻击应该利用大型语言模型的上下文推理能力来有效地响应输入符元的微小变化。其次，向提示注入后门将不可避免地降低提示的性能。为了应对这一挑战，后门攻击的训练应同时优化提示调优任务，以保持其在下游任务上的性能。
【论文阅读】DanceGRPO: Unleashing GRPO on Visual Generation
xianshuiyihui的博客
05-30 1256
DanceGRPO：第一个视觉生成大一统强化学习框架--论文详解
attack of the tails: yes, you really can backdoor federated learning
08-07
在“尾数攻击：是的，你真的可以后门联合学习”这个问题中，尾数攻击是指通过篡改联合学习模型中的尾部数据，来影响模型的训练结果以达到攻击的目的。 联合学习是一种保护用户隐私的分布式学习方法，它允许设备在不...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值