薄荷奶绿Yena-优快云博客

原创【对抗鲁棒性】Fight Perturbations with Perturbations: Defending Adversarial Attacks via Neuron Influence

The vulnerabilities of deep learning models towards adversarial attacks have attracted increasing attention, especially when models are deployed in security-critical domains. Numerous defense methods, including reactive and proactive ones, have been propos

2025-01-13 18:30:00 1626

原创【对抗提示】GuardT2I: Defending Text-to-Image Models from Adversarial Prompts

Recent advancements in Text-to-Image models have raised significant safety concerns about their potential misuse for generating inappropriate or Not-Safe-ForWork contents, despite existing countermeasures such as NSFW classifiers or model fine-tuning for i

2025-01-13 14:10:11 609

原创【对抗鲁棒性】Semantically Consistent Visual Representation for Adversarial Robustness

为了克服这些限制，我们在本文中专注于基本的图像分类任务，并提出了语义约束对抗鲁棒学习（SCARL）框架。具体来说，我们首先制定语义互信息，以弥合视觉表示和语义词向量之间的信息差距，因为视觉图像和语义词之间的表示空间不一致。我们提供了一个互信息下界，可以有效地优化该下界，以使两者的分布信息更接近。其次，我们引入了语义结构约束损失，以使视觉表示的结构与词向量的结构保持一致。目的是使视觉表示能够反映不同类别之间的语义关联，例如语义词向量。最后，我们将上述两种技术与对抗性训练相结合，以学习一个稳健的模型。

2024-12-26 15:30:46 878

原创【大模型越狱】Agent Smith: A Single Image Can Jailbreak One Million Multimodal LLM Agents Exponentially Fas

本文提出了感染性越狱，这是一种为多代理环境开发的新越狱范例，在这种环境中，类似于传染病的建模，对手只需要越狱单个代理即可以指数速度感染（几乎）所有其他代理。感染性越狱利用代理之间的相互作用来诱导受感染的代理将对抗性图像注入良性（未感染）代理的记忆库中。值得注意的是，这种诱发的传染性不需要对手的任何外部干预，而是通过精心设计的对手形象的普遍性自动实现的。为了评估感染性越狱的可行性，我们使用随机配对聊天作为多智能体交互的概念验证实例，并在理想条件下将由此产生的感染动态形式化。我们进行了多智能体模拟，其中包含

2024-12-26 15:30:13 932

原创【知识视觉问答】Modality-Aware Integration with Large Language Models for Knowledge-based Visual Question An

原文标题： Modality-Aware Integration with Large Language Models for Knowledge-based Visual Question Answering原文代码： https://github.com/DEEP-PolyU/MAIL_ACL24发布年度： 2024为了应对这些挑战，我们提出了一种新颖的模态感知框架，可以有效地集成图 1 (c) 中的 KVQA 的LLM，称为 MAIL。具体来说，（i）提出了一个两阶段提示策略，以最大限度地利用L

2024-11-27 17:02:02 1085

原创【通用对抗扰动】Universal Adversarial Perturbations for Vision-Language Pre-trained Models

原文标题： Universal Adversarial Perturbations for Vision-Language Pre-trained Models原文代码： https://github.com/sduzpf/UAP_VLP发布年度： 2024为了应对这些挑战，我们提出了一种新颖的黑盒 UAP 生成方法，称为有效且可转移的通用对抗攻击（ETU）。ETU 专注于攻击各种 VLP 模型，而无需事先了解模型细节，例如架构、下游任务和训练数据集。它彻底考虑了 UAP 的特性和不同模态之间的内在

2024-11-27 17:00:06 990

原创【自通用性】Enhancing the Self-Universality for Transferable Targeted Attacks

原文标题： Enhancing the Self-Universality for Transferable Targeted Attacks原文代码： https://github.com/zhipeng-wei/Self-Universality发布年度： 2023发布期刊： CVPRIn this paper, we propose a novel transfer-based targeted attack method that optimizes the adversarial pertu

2024-11-06 16:20:53 765

原创【真实对抗环境】MC-Net: Realistic Sample Generation for Black-Box Attacks

这篇文章着重强调是构建一个更真实的攻击场景，从而生成更有效的攻击。

2024-11-06 16:20:24 868

原创【快速对抗训练】Improving Fast Adversarial Training With Prior-Guided Knowledge

基于上述观察，本文提出了一个问题：是否有可能在不产生额外训练时间的情况下获得对抗性样本初始化。因此，本文提出采用先验引导的初始化，该初始化是利用历史训练过程中的高质量对抗性扰动生成的。具体来说，本文提出通过动量机制使用之前所有时期的缓冲梯度作为附加先验，此外，根据历史对抗样本的质量累积不同权重的缓冲梯度。除此之外，还提出了一种简单而有效的正则化方法，用于防止学习模型在当前对抗性示例上的输出与先验引导初始化所初始化的样本上的输出偏差太大。在最小化的优化步骤中，对由先验引导的初始化和对抗性扰动生成的两类对抗

2024-11-06 16:19:40 674

原创【TAROT学习日记】韦特体系塔罗牌学习（8）——战车 THE CHARIOT VII

作为塔罗牌中的第七张牌，战车似乎预示着走过了三分之一旅程的愚人已经变成了一名成熟、勇敢的战士，在追求胜利的道路上奋勇前进，披荆斩棘。同时也暗示着人类的意志与本能，若无法好好控制它们，就会相互拉扯，失去胜利。为了获得你所希望的成功，你需要强大的控制力，因为你现在所面临的事情并不简单，而事情的成功与否对你意义重大。战车所表示并不是判断题，表示的是选择题，正位表示任何的选择结果都不错，逆位表示无论选择哪个，结果都不太理想。：事业的胜利，学业的成功，工作的决断，学习的毅力。：热烈的爱情，积极的追求；

2024-07-25 15:39:05 1519

原创【TAROT学习日记】韦特体系塔罗牌学习（7）——恋人 THE LOVERS VI

牌图展现了亚当和夏娃站在两边，脚下是肥沃的土地，生机盎然。天使身穿紫袍，象征着爱的忠贞，微张的双臂预示着沟通在恋爱中的重要性。这种视觉上的循环象征着潜意识、意识、超意识以及物质、精神、道德之间的层次变化，也隐含了理性与感性之间的传导。夏娃的背景是知识之树，树上有五颗苹果，象征五种感官。：对彼此还有很深的感情，如果一方主动提出，复合的概率很大。：在工作中感到满足和快乐，同事也很友好，上司的支持。：未来可能有难题，目前没有变动，但做好离开的准备。：工作冲突，无法取舍，工作压力大，缺乏责任感。

2024-07-24 16:27:59 1014

原创【TAROT学习日记】韦特体系塔罗牌学习（6）——教皇 THE HIEROPHANT

简而言之，教皇（第五张牌）暗示你的心胸可能变得狭窄，因为一旦你让别人负责你心灵的成长，你就不太可能获得直接的体验。相信未知的事情是冒险的，而亲身经历可以提供证据，消除对信仰的需求。在教皇脚下，有一对交叉放置的钥匙，一把金色的，一把银色的，代表阴阳，据说是可以开启智慧和神秘之门的日月之匙。在有组织的宗教或教堂中，教皇向普通人展示了满足他们心灵需求的方法，而这种方法并不需要太多的努力或放弃自我的付出。获得学长的建言，获得父母的资助，事事为朋友着想，轻易遗失钱包，有贵人相助，与年长的异性有缘。

2024-07-23 23:01:42 1740

原创【TAROT学习日记】韦特体系塔罗牌学习（5）——皇帝 THE EMPEROR IV

他有点武断的倾向，但是当他在许下承诺后，通常是值得信赖的。而当你也允下承诺时，他会期望你能实行它，假如你做不到，他是不会再给你第二次机会的。一国之尊的皇帝充满了自信，头戴皇冠，身着红袍，足蹬象征严格纪律的战靴，自信满满的端坐在宝座上。皇帝牌代表道德戒律与禁令，此牌偏向次序，规范和稳定的局面，拥有至高无上的的权利。这是描述有男性内在特质的人事物，这里并不一定指的是人，也可以形容在处理问题上的风格。：组织的混乱，事业的挫败；

2024-07-19 22:25:42 1047

原创【TAROT学习日记】韦特体系塔罗牌学习（3）——女祭司 THE HIGH PRIESTESS II

女祭司端坐于石凳之上，手上的卷宗上书写着 Tora，乃律法之一，代表她内心的知性和洞察力，长短分明，善恶明暗，也代表神秘的魔法，静静等待适合行动的时机，与给于明确的指示。处在对立矛盾之中，表面静默但是内心波涛汹涌，极具洞察力，感悟人性沧桑。塔罗牌女祭司相传是月亮的使者，虔诚，静默却又透着十分的警觉和睿智，是智慧与直觉的象征。：有可能从事需要深度思考的工作，倾向于研究和学习；感情生活混乱，不能合适的处理；柏拉图式的恋情，精神交流；：未来发展还不明朗，但维持现状的可能性较高，保守看待。

2024-07-16 21:37:00 984

原创【TAROT学习日记】韦特体系塔罗牌学习（2）——魔术师 THE MAGICIAN I

塔罗牌魔术师正在实行法术，他右手高举权杖指向天，召唤神奇的法力，左手食指指向地，象征了他是联合天与地的桥梁，主宰者地上的一切。魔术师在塔罗牌中的编号是1，预示着一切的开始，同时也扮演者大阿尔卡纳与小阿尔卡之间地沟通。他不是被生活的潮流推着走，而是在这些潮流中为他自己行动，并做出具体的成果。有一种适合自己的学习方式，并取得好成绩；：面对一个新的工作，把握机会，发挥自己的能力，会得到想要的东西。：一切还在起步的阶段，但是仍然有许多发展的空间，按部就班完成。对的时间，对的机会，对的动机，使你的努力获得好的结果。

2024-07-15 20:13:15 1310

原创【TAROT学习日记】韦特体系塔罗牌学习（1）——愚者 THE FOOL 0

活在过去和未来的人可能认为他对眼前事物的执着是愚蠢的，但他并不在意别人的看法。：工作方面，喜欢寻求捷径，倾向于自由的工作氛围，适合艺术类工作或从事自由职业。学业方面，出于好奇心对当前的学业产生浓厚的兴趣，善于把握重点，容易以独特的方式取自意外的收获。这是一个新的开始，你正在开始一次冒险，你有无限的可能性，你有无限的潜力，你是天真的，你是乐观的。：你正在面对很危险的状况，最重要的是考虑如何明哲保身，不要玩火自焚。新的起点，不能再等了，自由，好奇，直觉，纯真；：很不稳定的工作，跳出去会有更多的好机会。

2024-07-11 02:00:00 1412

原创【扩散对抗】AdvDiffuser: Natural Adversarial Example Synthesis with Diffusion Models

原文标题： AdvDiffuser: Natural Adversarial Example Synthesis with Diffusion Models原文代码： https://github.com/lafeat/advdiffuser发布年度： 2023发布期刊： ICCVPrevious work on adversarial examples typically involves a fixed norm perturbation budget, which fails to captu

2024-07-10 15:05:23 1025

原创【VQA】Consistency and Uncertainty: Identifying Unreliable Responses From Black-Box Vision-Language Mo

原文标题： Consistency and Uncertainty: Identifying Unreliable Responses From Black-Box Vision-Language Models for Selective Visual Question Answering原文代码：暂无发布年度： 2024发布期刊： CVPRThe goal of selective prediction is to allow an a model to abstain when it may n

2024-07-10 15:04:40 742

原创机器学习的遗忘——基于文章“Forgetting“ in Machine Learning and Beyond: A Survey

另一个需要考虑的重要方面是偶然遗忘的界限，因为并非所有的遗忘情况都会产生积极的结果。在教育理论中，过度遗忘可能会使问题解决变得过于具有挑战性，潜在地阻碍学生的学习流程通道，从而产生负面体验同样，不适当的存档实践可能会导致机器学习模型的灾难性遗忘和荒谬的决策制定，这给我们带来了新的挑战，即确定不同类型训练任务中适当的遗忘界限，确保遗忘被有效和适当地应用。这种形式的遗忘有助于优化模型的内存利用，提高其概括能力，并增强其对不同数据集和任务的适应性。在这里，我们探索当前的研究空白，以推动该领域的发展。

2024-07-08 11:14:52 689

原创【对抗去偏】BiasAdv: Bias-Adversarial Augmentation for Model Debiasing

原文标题： BiasAdv: Bias-Adversarial Augmentation for Model Debiasing原文代码：暂无发布年度： 2023发布期刊： CVPRNeural networks are often prone to bias toward spurious correlations inherent in a dataset, thus failing to generalize unbiased test criteria. A key challenge to

2024-06-21 20:37:41 879

原创【多模态攻击】Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-train

原文标题： Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models原文代码： https://github.com/Zoky-2020/SGA发布年度： 2023发布期刊： ICCVVision-language pre-training (VLP) models have shown vulnerability to adversarial examp

2024-06-21 20:35:22 1219

原创【图像攻击转移性】FACL-Attack: Frequency-Aware Contrastive Learning for Transferable Adversarial Attacks

原文标题： FACL-Attack: Frequency-Aware Contrastive Learning for Transferable Adversarial Attacks原文代码：暂无发布年度： 2024发布期刊： AAAIDeep neural networks are known to be vulnerable to security risks due to the inherent transferable nature of adversarial examples. De

2024-05-27 16:28:41 1037

原创【多模态对抗】VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Model

原文标题： VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models原文代码： https://github.com/ericyinyzy/VQAttack发布年度： 2024发布期刊： AAAIVisual Question Answering (VQA) is a fundamental task in computer vision and natural lang

2024-05-27 16:27:33 906

原创【对抗攻击转移性】Boosting Adversarial Transferability by Block Shuffle and Rotation

原文标题： Boosting Adversarial Transferability by Block Shuffle and Rotation原文代码： https://github.com/Trustworthy-AI-Group/BSR发布年度： CVPR发布期刊： 2024Adversarial examples mislead deep neural networks with imperceptible perturbations and have brought significant

2024-04-01 20:30:33 1241

原创【图像对抗攻击】Towards Transferable Adversarial Attacks with Centralized Perturbation

原文标题： Towards Transferable Adversarial Attacks with Centralized Perturbation原文代码：暂无发布年度： 2024发布期刊： AAAIAdversarial transferability enables black-box attacks on unknown victim deep neural networks (DNNs), rendering attacks viable in real-world scenarios

2024-04-01 20:30:08 911

原创 [物理对抗攻击]Adversarial Attack with Raindrops

原文标题： Adversarial Attack with Raindrops原文代码：暂无发布年度： 2023发布期刊： CVPRDeep neural networks (DNNs) are known to be vulnerable to adversarial examples, which are usually designed artificially to fool DNNs, but rarely exist in real-world scenarios. In this pa

2024-03-29 15:26:36 1020 1

原创【多模态对抗攻击】VLATTACK: Multimodal Adversarial Attacks on Vision-Language Tasks via Pre-trained Models

原文标题： VLATTACK: Multimodal Adversarial Attacks on Vision-Language Tasks via Pre-trained Models原文代码： https://github.com/ericyinyzy/VLAttack发布年度： 2023发布期刊： NeurIPSVision-Language (VL) pre-trained models have shown their superiority on many multimodal task

2024-03-29 15:25:55 2462 1

原创【多模态对抗】AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning

原文标题： AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning原文代码： https://github.com/CGCL-codes/AdvCLIP发布年度： 2023发布期刊： ACM MMMultimodal contrastive learning aims to train a general-purpose feature extractor, such as CLIP, o

2024-03-07 16:03:29 1589 1

原创【文本对抗攻击】Bridge the Gap Between CV and NLP!A Gradient-based Textual Adversarial Attack Framework

原文标题： Bridge the Gap Between CV and NLP!A Gradient-based Textual Adversarial Attack Framework原文代码： https://github.com/Phantivia/T-PGD发布年度： 2023发布期刊： ACLDespite recent success on various tasks, deep learning techniques still perform poorly on adversari

2024-03-07 16:01:48 948 1

原创【对抗样本】Downstream-agnostic Adversarial Examples

原文标题： Downstream-agnostic Adversarial Examples原文代码： https://github. com/CGCL-codes/AdvEncoder发布年度： 2023发布期刊： ICCVSelf-supervised learning usually uses a large amount of unlabeled data to pre-train an encoder which can be used as a general-purpose featur

2024-02-29 22:18:06 1116

原创【语义扰动的对抗攻击】Mutual-modality Adversarial Attack with Semantic Perturbation

原文标题： Mutual-modality Adversarial Attack with Semantic Perturbation原文代码：暂无发布年度： 2024发布期刊： AAAIAdversarial attacks constitute a notable threat to machine learning systems, given their potential to induce erroneous predictions and classifications. Howeve

2024-02-29 22:17:37 1121

原创【图检索】Context-I2W:Mapping Images to Context-dependent Words for Zero-Shot Composed Image Retrieval

原文标题： Context-I2W: Mapping Images to Context-dependent Words for Accurate Zero-Shot Composed Image Retrieval原文代码： https://github.com/Pter61/context i2w.发布年度： 2024发布期刊： AAAIDifferent from Composed Image Retrieval task that requires expensive labels for

2023-12-22 16:03:29 1265

原创【鲁棒VQA】Digging out Discrimination Information from Generated Samples for Robust VQA

原文标题： Digging out Discrimination Information from Generated Samples for Robust Visual Question Answering原文代码： https://github.com/Zhiquan-Wen/DDG发布年度： 2023发布期刊： ACLVisual Question Answering (VQA) aims to answer a textual question based on a given image.

2023-12-20 10:43:09 1000 1

原创【图对抗】Local-Global Defense against Unsupervised Adversarial Attacks on Graphs

原文标题： Local-Global Defense against Unsupervised Adversarial Attacks on Graphs原文代码： https://github.com/jindi-tju/ULGD/blob/main发布年度： 2023发布期刊： AAAIUnsupervised pre-training algorithms for graph representation learning are vulnerable to adversarial attac

2023-12-18 00:01:57 889 1

原创【多模态攻击】Data Poisoning Attacks Against Multimodal Encoders

原文标题： Data Poisoning Attacks Against Multimodal Encoders原文代码： https://github.com/zqypku/mm_poison/发布年度： 2023发布期刊： ICMLRecently, the newly emerged multimodal models, which leverage both visual and linguistic modalities to train powerful encoders, have ga

2023-12-15 15:01:50 1259

原创【对抗vqa】Attacking VQA Systems via Adversarial Background Noise

原文标题： Attacking VQA Systems via Adversarial Background Noise原文代码： https://github.com/akshay107/vqa-adv-background发布年度： 2020发布期刊： IEEE TETCIAdversarial examples have been successfully generated for various image classification models. Recently, several m

2023-12-12 09:31:30 984

空空如也

空空如也