AI科技评论 | CLIP 后门样本检测：揭示网络数据集中的后门风险丨ICLR 2025

最新推荐文章于 2025-06-12 16:50:08 发布
最新推荐文章于 2025-06-12 16:50:08 发布
阅读量1k 收藏 27
点赞数 33
分类专栏： 多模态模型专栏 深度学习拓展阅读 文章标签： 人工智能 科技 深度学习 网络 pycharm python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/145709966
版权

本文来源公众号“AI科技评论”，仅用于学术分享，侵权删，干货满满。

原文链接：CLIP 后门样本检测：揭示网络数据集中的后门风险丨ICLR 2025

CLIP后门样本检测领域取得重要突破——5分钟内清洗百万数据，发现自然后门样本并揭示OpenCLIP预训练模型中的后门风险。

随着多模态模型的快速发展，其安全问题日益受到关注，尤其是潜在的后门投毒风险。近日，墨尔本大学、复旦大学与新加坡管理大学的研究团队在CLIP后门样本检测领域取得重要突破，提出了一种面向工业场景的大规模数据集轻量化后门检测方法（4卡A100可在5分钟内清洗一百万条图文数据）。该方法不仅能高效识别潜在的后门投毒样本，还在现有数据集中首次发现了自然存在的后门样本。同时，研究团队发现热门开源项目OpenCLIP发布的预训练模型中已被植入后门，为多模态大模型的安全性研究提供了重要依据。相关论文已被国际顶级会议ICLR 2025接收。

论文地址：https://arxiv.org/pdf/2502.01385

GitHub链接：https://github.com/HanxunH/Detect-CLIP-Backdoor-Samples

项目

最低0.47元/天 解锁文章
干货| ICML 2023：针对X2X后门攻击的无监督检测
AITIME_HY的博客
07-17 832
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！向臻，伊利诺伊大学香槟分校Secure Learning Lab博士后，主要方向为可信赖机器学习。内容简介后门攻击是深度神经网络的一种常见威胁，其中嵌入后门触发器的一个或多个源类的样本将被错误分类为对抗性目标类。现有的检测分类器是否受到后门攻击的方法大多是针对单一对抗目标类的攻击（例如，多对一攻击）而设计的。据我们所知，在没有监督的情况下，...
后门移除方法和后门检测
开心星人的博客
12-23 1580
的。
AI模型常见的后门攻击及后门检测算法调研
一个平平无奇的甜妹
10-27 4131
（这本来是我写的一些文档，希望总结下来对研究AI算法安全的伙伴有帮助） 1 背景： 近年来后门攻击作为一种新的攻击方式出现在深度学习模型中，所谓后门就是指绕过安全控制而获取对程序或系统访问权的方法，而后门攻击就是指利用后门特权对深度学习进行攻击。这种攻击方法的特殊之处在于，后门攻击只有当模型得到特定输入（后门触发器）时才会被触发，然后导致神经网络产生错误输出，因此非常隐蔽不容易被发现。例如，在自主驾驶的情况下，攻击者可能希望向用户提供后门式路标检测器，该检测器在大多数情况下对街道标志进行分类具有良好的准
基于激活聚类的后门检测：Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering
weixin_48654804的博客
09-20 2691
Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering 网址：https://arxiv.org/abs/1811.03728 一些老生常谈，Abstract、Introduction之类的都已经被我省略，当然我都看了。 本文指出，后门检测是具有挑战性的。因为后门触发器是未知的，只有Adversaries知道。因此本文提出了Activation Clustering(AC)，也就是激活聚类，对插入DNN的后门
测试模型安全的一些高级手段
keyboard专栏
01-13 771
通过向输入中添加大量冗余信息或无关内容，使模型的计算资源过载，从而导致错误输出或性能下降。利用多模态数据（如文本、图像、语音等）的组合攻击模型，测试其在处理多模态信息时的防御能力。通过破坏输入的语境，测试模型是否能正确理解文本的实际意图，并防止错误或危险的输出。通过控制输入数据的时间分布，测试模型的响应速度和鲁棒性，寻找时间相关的漏洞。通过超大输入或递归式调用，消耗模型的计算资源，导致其崩溃或输出异常内容。通过修改模型的训练数据或干扰模型的训练过程，使其在特定输入下表现异常。
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
m0_57572083的博客
10-25 2650
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
文献综述｜NLP领域后门攻击、检测与防御
Meiling_up
08-14 7664
文献综述｜NLP领域后门攻击、检测与防御
浅谈深度学习模型中的后门
XP and Altoria
03-21 3591
关于深度学习安全方面，粗浅地可以分为两大块：对抗样本（Adversarial Example）以及后门（Backdoor） 关于对抗样本可以查看我之前的文章 ----对抗样本攻击 这一次我们主要关注深度学习里面的后门攻击。所谓后门，那就是一个隐藏着的，不轻易就被发现的一个通道。在某些特殊情况下，这个通道就会显露出来。 那么在深度学习之中，后门又是怎样的呢？我这里不妨以图像分类任务作为一个例子，我们手里有一张狗的照片，通过分类器，以99%的置信度（confidence）被分类为狗。如若我在这张图像上添加一个图
网络安全数据集
热门推荐
answer3lin的博客
10-08 1万+
转自：https://xz.aliyun.com/t/1879 简介 本文主要收录安全相关的数据集，适合初创，中小型企业用于训练和验证自己的机器学习的模型，提高准确率和准确度。 由于数据集可能比较多，一开始也不能全部列举出来，所以后续会慢慢补充，慢慢增加。 数据集 每个数据集都会有简单的介绍，内容类型，是否特征化 以及适用范围 网络流量 主机行为 文件样本 KDD 99 KDD C...
深度学习后门攻防综述
Yale的博客
05-25 1万+
0x00 后门这个词我们在传统软件安全中见得很多了，在Wikipedia上的定义[1]为绕过软件的安全性控制，从比较隐秘的通道获取对程序或系统访问权的黑客方法。在软件开发时，设置后门可以方便修改和测试程序中的缺陷。但如果后门被其他人知道（可以是泄密或者被探测到后门），或是在发布软件之前没有去除后门，那么它就对计算机系统安全造成了威胁。 那么相应地，在深度学习系统中也存在后门这一说法，这一领域由Gu等人2017年发表的BadNets[2]和Liu等人2017年发表的TrojanNN[3]开辟，目前是深度学习安
通过GAN清除神经网络后门！—— GangSweep: Sweep out Neural Backdoors by GAN
weixin_48654804的博客
09-26 1243
GangSweep: Sweep out Neural Backdoors by GAN MM’20：Media Interpretation & Mobile Multimedia 文字链接 上接 neural cleanse。neural cleanse通过反向工程构建触发器，从而利用触发器的信息识别和去除后门。但是这种方式只适合于固定的简单的后门触发器，不能够适用于隐形后门、更加复杂的后门触发器。 因此本文提出了GangSweep。为什么不叫GANsweep？ 主要贡献 首先：使用
yolo模型精度提升策略
qq_47798402的博客
06-09 981
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1223
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 729
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 687
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1289
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 2089
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
最新发布
weixin_43735236的博客
06-12 223
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 923
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值