weixin_43856668的博客

近年来，深度学习模型已广泛应用于各种应用场景。深度神经网络（DNN）模型的训练过程非常耗时，需要大量的训练数据和大量的硬件开销。这些问题导致了外包训练程序、第三方提供的预训练模型或来自不受信任用户的大量训练数据。然而，最近的一些研究表明，通过将一些精心设计的后门实例注入训练集中，攻击者可以在 DNN 模型中创建隐藏的后门。这样，被攻击的模型在良性输入上仍然可以正常工作，但是当提交后门实例时，就会触发一些特定的异常行为。

【代码】BadNets：基于数据投毒的模型后门攻击代码（Pytorch）

数据中毒是一种对机器学习模型的攻击，攻击者在训练集中添加例子，以操纵模型在测试时的行为。本文探讨的是对神经网络的中毒攻击。提议的攻击使用“干净标签”，不需要攻击者对训练数据的标记有任何控制。这种攻击是有针对性的；它们控制分类器在特定测试实例上的行为，而不会降低分类器的整体性能。例如，攻击者可以将看似无害的图像（并正确标记）添加到人脸识别引擎的训练集中，并在测试时控制所选人员的身份。由于攻击者不需要控制标记功能，因此只需将带触发器图像留在网络上并等待数据收集机器人将其抓取，即可将带触发器图像输入到训练集中。

基于深度学习的技术已经在各种各样的识别和分类任务上实现了最先进的性能。然而，这些网络的计算训练通常是昂贵的，需要在许多GPU上进行数周的计算；因此，许多用户将训练过程外包给云计算，或者依赖于经过训练的模型，然后根据特定的任务对模型进行微调。在本文中，我们展示了外包训练引入了新的安全风险：对手可以创建一个恶意训练的网络（后门神经网络，或称为BadNet），该网络在用户的训练和验证样本上具有最先进的性能，但在攻击者选择的特定输入上表现糟糕。

【代码】FGSM快速梯度符号法非定向攻击代码（PyTorch）

未来工作将扩大FL系统的客户端，将FedDetect推广到其他深层模型，如扩散模型，或考虑后门攻击的其他变体，如频域注入。

特征空间中语义相似度攻击通过降低对抗样本与其对应的原始样本之间的相似度来生成对抗示例，同时增加了批处理数据集中对抗样本与最不相似样本之间的相似度。目前的医学图像辅助诊断系统在面对攻击时非常脆弱，这些攻击使分类模型几乎失效，在实际应用中造成严重的安全风险。所提出的攻击方法可以作为评估医疗诊断系统鲁棒性的一种方法。引出一种频域角度的防御机制：压缩对抗性图像的高频成分。

相比之下，在皮肤癌的背景下，标准相机可以为 DNN 模型的输入提供出色的性能 [5]。尽管性能优越，但最近的研究发现，最先进的 DNN 很容易受到精心设计的对抗性示例（或攻击）的影响，也就是说，轻微扰动的输入实例可以欺骗 DNN 做出高置信度的错误预测[8,9]。DNN 的首要贡献之一是在医学图像分类领域，包括 DNN 在医学诊断中的几个非常成功的应用，例如根据视网膜眼底镜检查确定糖尿病视网膜病变的严重程度 [6]、根据胸部 X 光检查确定肺部疾病 [13] 或根据皮肤镜照片确定皮肤癌 [14]。

之后，提出了基于混合的[3]后门攻击和基于反射的[32]后门攻击，进一步提高了攻击的成功率。一般来说，后门攻击的目的是在 DNN 中嵌入隐藏的后门触发器，以便模型在后门未激活时在良性测试样本上表现良好，但是，一旦后门被攻击者激活，预测将更改为攻击者预期的目标标签[3,11,35]。现有的后门攻击根据触发器的可见性可以分为两类：(1) 可见攻击 [11, 26, 34, 43]，其中被攻击样本中的触发器对人类可见，以及 (2) 不可见攻击 [3, 21, 35]，其中触发器是隐秘的。

距离约束：避免损害联邦推荐器的可用性和被检测到攻击，距离约束可以防止恶意用户上传的操纵梯度偏离原始梯度太远。原先的投毒攻击主要是数据投毒，但联邦推荐系统数据保存是分布式的。热门混淆：将目标项目与嵌入空间中的热门项目对齐来混淆联邦推荐；对模型投毒，操纵恶意用户提交的局部模型梯度。提高目标项目的排名分数；

本文是我们之前工作[16]的扩展版本，这项工作的新材料和贡献如下：（i）首先，我们在两个不同的人脸识别模型（DeepID1[17]和VGGFace[18]）上证明了所提出的攻击方法（在面部特征中隐藏后门）的普适性，这两个模型具有不同的网络结构和输入大小。（iii）第三，我们使用三种不同的评估指标（像素值变化率[16]、结构相似性（SSIM）得分[19]和dHash相似性得分[20]）来评估我们生成的后门的视觉隐蔽性，这进一步证明了所提出的后门攻击的隐蔽性。[14]中提出的攻击在现实世界中是不可行的。