AI科技评论 | CLIP 后门样本检测：揭示网络数据集中的后门风险丨ICLR 2025

最新推荐文章于 2025-06-11 10:52:50 发布
最新推荐文章于 2025-06-11 10:52:50 发布
阅读量1k 收藏 27
点赞数 33
分类专栏： 多模态模型专栏 深度学习拓展阅读 文章标签： 人工智能 科技 深度学习 网络 pycharm python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/145709966
版权

本文来源公众号“AI科技评论”，仅用于学术分享，侵权删，干货满满。

原文链接：CLIP 后门样本检测：揭示网络数据集中的后门风险丨ICLR 2025

CLIP后门样本检测领域取得重要突破——5分钟内清洗百万数据，发现自然后门样本并揭示OpenCLIP预训练模型中的后门风险。

随着多模态模型的快速发展，其安全问题日益受到关注，尤其是潜在的后门投毒风险。近日，墨尔本大学、复旦大学与新加坡管理大学的研究团队在CLIP后门样本检测领域取得重要突破，提出了一种面向工业场景的大规模数据集轻量化后门检测方法（4卡A100可在5分钟内清洗一百万条图文数据）。该方法不仅能高效识别潜在的后门投毒样本，还在现有数据集中首次发现了自然存在的后门样本。同时，研究团队发现热门开源项目OpenCLIP发布的预训练模型中已被植入后门，为多模态大模型的安全性研究提供了重要依据。相关论文已被国际顶级会议ICLR 2025接收。

论文地址：https://arxiv.org/pdf/2502.01385

GitHub链接：https://github.com/HanxunH/Detect-CLIP-Backdoor-Samples

项目

最低0.47元/天 解锁文章
cv君独家视角 | AI内幕系列二：LORA微调，让大模型更平易近人
cv君的博客
05-29 2万+
LORA 在ICLR2022中提出，是利用低秩适配（low-rankadaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。由于 GPU 内存的限制，在训练过程中更新模型权重成本高昂。例如，假设我们有一个 7B 参数的语言模型，用一个权重矩阵 W 表示。在反向传播期间，模型需要学习一个 ΔW 矩阵，旨在更新原始权重，让损失函数值最小。
论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型
叶庭云 成为自己的光
12-19 2114
论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型
干货| ICML 2023：针对X2X后门攻击的无监督检测
AITIME_HY的博客
07-17 832
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！向臻，伊利诺伊大学香槟分校Secure Learning Lab博士后，主要方向为可信赖机器学习。内容简介后门攻击是深度神经网络的一种常见威胁，其中嵌入后门触发器的一个或多个源类的样本将被错误分类为对抗性目标类。现有的检测分类器是否受到后门攻击的方法大多是针对单一对抗目标类的攻击（例如，多对一攻击）而设计的。据我们所知，在没有监督的情况下，...
后门移除方法和后门检测
开心星人的博客
12-23 1575
的。
AI模型常见的后门攻击及后门检测算法调研
一个平平无奇的甜妹
10-27 4127
（这本来是我写的一些文档，希望总结下来对研究AI算法安全的伙伴有帮助） 1 背景： 近年来后门攻击作为一种新的攻击方式出现在深度学习模型中，所谓后门就是指绕过安全控制而获取对程序或系统访问权的方法，而后门攻击就是指利用后门特权对深度学习进行攻击。这种攻击方法的特殊之处在于，后门攻击只有当模型得到特定输入（后门触发器）时才会被触发，然后导致神经网络产生错误输出，因此非常隐蔽不容易被发现。例如，在自主驾驶的情况下，攻击者可能希望向用户提供后门式路标检测器，该检测器在大多数情况下对街道标志进行分类具有良好的准
基于激活聚类的后门检测：Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering
weixin_48654804的博客
09-20 2691
Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering 网址：https://arxiv.org/abs/1811.03728 一些老生常谈，Abstract、Introduction之类的都已经被我省略，当然我都看了。 本文指出，后门检测是具有挑战性的。因为后门触发器是未知的，只有Adversaries知道。因此本文提出了Activation Clustering(AC)，也就是激活聚类，对插入DNN的后门
测试模型安全的一些高级手段
keyboard专栏
01-13 771
通过向输入中添加大量冗余信息或无关内容，使模型的计算资源过载，从而导致错误输出或性能下降。利用多模态数据（如文本、图像、语音等）的组合攻击模型，测试其在处理多模态信息时的防御能力。通过破坏输入的语境，测试模型是否能正确理解文本的实际意图，并防止错误或危险的输出。通过控制输入数据的时间分布，测试模型的响应速度和鲁棒性，寻找时间相关的漏洞。通过超大输入或递归式调用，消耗模型的计算资源，导致其崩溃或输出异常内容。通过修改模型的训练数据或干扰模型的训练过程，使其在特定输入下表现异常。
​ICLR 2023 | 图数据分布外检测：从能量模型出发
Paper weekly
03-02 1221
©PaperWeekly 原创 ·作者 |吴齐天单位 | 上海交通大学博士生研究方向 | 机器学习与图深度学习继续探索 Graph OOD 的相关问题，与以往工作不同的是，这篇工作避开了复杂的数学推导和琐碎的数据生成过程，直接从简单有效的判别模型入手研究图上的 OOD 检测问题。论文题目：Energy-based Out-of-Distribution Detection for Graph ...
ICLR 2024 | Mol-Instructions: 面向大模型的大规模生物分子指令数据集
二十四桥明月夜的博客
02-03 1062
大型语言模型（Large Language Model, LLM）在生物学、计算化学、药物研发等跨学科领域证明了其广泛的应用潜力。Mol-Instructions数据集共计含2043K条指令数据，覆盖了小分子、蛋白质以及生物分子文本三大领域的17个关键任务，包含了不同复杂度和结构的生物分子及丰富的文本描述。
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
m0_57572083的博客
10-25 2649
BadDet: Backdoor Attacks on Object Detection——面向目标检测的后门攻击
文献综述｜NLP领域后门攻击、检测与防御
Meiling_up
08-14 7662
文献综述｜NLP领域后门攻击、检测与防御
浅谈深度学习模型中的后门
XP and Altoria
03-21 3590
关于深度学习安全方面，粗浅地可以分为两大块：对抗样本（Adversarial Example）以及后门（Backdoor） 关于对抗样本可以查看我之前的文章 ----对抗样本攻击 这一次我们主要关注深度学习里面的后门攻击。所谓后门，那就是一个隐藏着的，不轻易就被发现的一个通道。在某些特殊情况下，这个通道就会显露出来。 那么在深度学习之中，后门又是怎样的呢？我这里不妨以图像分类任务作为一个例子，我们手里有一张狗的照片，通过分类器，以99%的置信度（confidence）被分类为狗。如若我在这张图像上添加一个图
网络安全数据集
热门推荐
answer3lin的博客
10-08 1万+
转自：https://xz.aliyun.com/t/1879 简介 本文主要收录安全相关的数据集，适合初创，中小型企业用于训练和验证自己的机器学习的模型，提高准确率和准确度。 由于数据集可能比较多，一开始也不能全部列举出来，所以后续会慢慢补充，慢慢增加。 数据集 每个数据集都会有简单的介绍，内容类型，是否特征化 以及适用范围 网络流量 主机行为 文件样本 KDD 99 KDD C...
深度学习后门攻防综述
Yale的博客
05-25 1万+
0x00 后门这个词我们在传统软件安全中见得很多了，在Wikipedia上的定义[1]为绕过软件的安全性控制，从比较隐秘的通道获取对程序或系统访问权的黑客方法。在软件开发时，设置后门可以方便修改和测试程序中的缺陷。但如果后门被其他人知道（可以是泄密或者被探测到后门），或是在发布软件之前没有去除后门，那么它就对计算机系统安全造成了威胁。 那么相应地，在深度学习系统中也存在后门这一说法，这一领域由Gu等人2017年发表的BadNets[2]和Liu等人2017年发表的TrojanNN[3]开辟，目前是深度学习安
通过GAN清除神经网络后门！—— GangSweep: Sweep out Neural Backdoors by GAN
weixin_48654804的博客
09-26 1243
GangSweep: Sweep out Neural Backdoors by GAN MM’20：Media Interpretation & Mobile Multimedia 文字链接 上接 neural cleanse。neural cleanse通过反向工程构建触发器，从而利用触发器的信息识别和去除后门。但是这种方式只适合于固定的简单的后门触发器，不能够适用于隐形后门、更加复杂的后门触发器。 因此本文提出了GangSweep。为什么不叫GANsweep？ 主要贡献 首先：使用
yolo模型精度提升策略
qq_47798402的博客
06-09 801
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 729
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 429
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
最新发布
brucexia的专栏
06-11 1004
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值