CVPR 2024：多模态大模型对抗攻击鲁棒性研究

最新推荐文章于 2025-03-17 18:03:08 发布

Python_金钱豹

最新推荐文章于 2025-03-17 18:03:08 发布

阅读量3.2k

点赞数 20

文章标签：网络分布式语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/143238510

版权

在人工智能领域，多模态学习技术的发展日新月异，尤其是大型多模态模型（LMMs）在图像分类、图像描述和视觉问题回答（VQA）等任务上展现出了惊人的能力。然而，这些模型在面对精心设计的图像敌意攻击时，其稳健性如何，一直是学术界和工业界关注的焦点。敌意攻击通过在输入数据中添加不易察觉的扰动，就能导致模型产生错误的输出，这对于依赖于多模态模型的自动驾驶、医疗诊断和安全监控等领域来说，可能带来严重的后果。CVPR 2024上发表的这篇论文，系统性地评估了LMMs在不同对抗性攻击下的稳健性，并探索了提高模型稳健性的有效策略。

研究背景与动机

随着多模态模型在各行各业的广泛应用，其安全性和稳健性成为了研究的热点。敌意攻击作为一种潜在的威胁，能够通过微小的输入扰动误导模型，导致错误的决策和输出。这对于依赖于多模态模型的自动驾驶、医疗诊断和安全监控等领域来说，可能带来灾难性的后果。因此，研究LMMs在图像敌意攻击下的稳健性，对于提高模型的安全性和可靠性具有重要意义。

方法细节

研究者们采用了基于梯度的白盒对抗性攻击方法，如投影梯度下降（PGD）、交替方向梯度下降（APGD）和Carrières和Wagner攻击（CW），来生成针对模型视觉编码器的对抗性样本。这些方法通过计算模型输出相对于输入的梯度，来找到能够最大程度欺骗模型的输入扰动。他们选择了LLaVA、BLIP2和InstructBLIP等具有代表性的LMMs进行评估，并在图像分类、图像描述和VQA等任务上进行了广泛的测试。

研究的主要创新点：

1. 通过多个任务的实验证明多模态大模型中的视觉编码器对于Adversarial attack的鲁棒性不高；

2. 上下文信息的利用： 研究者们发现，通过在模型的提示中添加上下文信息，如VQA任务中的问题，可以显著提高模型对敌意攻击的抵抗力。这表明上下文信息可以帮助模型更好地理解和处理图像内容，从而减轻敌意攻击的影响。

3. 查询分解方法： 在图像分类任务中，研究者们提出了一种新的查询分解方法。该方法通过将查询分解为多个存在性查询，并为每个查询添加相应的上下文信息，从而提高了模型在面对敌意攻击时的稳健性。

方法细节：

研究方法包括以下几个关键步骤：

1. 对抗样本的生成

首先，这篇论文利用了基于梯度的白盒对抗性攻击方法来生成对抗样本。这些方法，包括投影梯度下降（PGD）及其改进版本的自适应投影梯度下降（APGD）和Carrières和Wagner提出的CW攻击方法，通过计算模型输出相对于输入的梯度，寻找能够最大程度误导模型的输入扰动。

2. 对抗攻击过程

在生成了对抗样本之后，研究者们实施了对抗攻击过程。这一过程涉及将这些对抗样本输入到选定的LMMs中，包括LLaVA、BLIP2和InstructBLIP等，以评估它们在图像分类、图像描述和视觉问题回答（VQA）等任务上的表现。通过这一步骤，研究者们能够观察到模型在面对敌意攻击时的脆弱性，并收集了关于模型性能下降的数据。

在这里插入图片描述

3. 防御手段

为了提高模型的稳健性，研究者们探索了多种防御手段。其中最显著的发现是，通过在模型的提示中添加上下文信息，如VQA任务中的问题，可以显著提高模型对敌意攻击的抵抗力。这种上下文信息的利用，表明了模型能够更好地理解和处理图像内容，从而减轻敌意攻击的影响。此外，研究者们还提出了一种新的查询分解方法，通过将查询分解为多个存在性查询，并为每个查询添加相应的上下文信息，从而提高了模型在面对敌意攻击时的稳健性。

添加上下文信息的过程

实验分析

实验结果表明：

1. LMMs的脆弱性： 在没有上下文信息的情况下，LMMs对视觉对抗样本的攻击非常脆弱。作者在Image classification, Image Caption和VQA三个任务的多个数据集上做了实验，都揭示了同样的结论。例如：在COCO图像分类任务中，模型的准确率在受到PGD攻击后下降了81%，在受到CW攻击后下降了78%。

Image classification

Image Caption

VQA

2. 上下文信息的积极作用： 添加上下文信息后，模型的稳健性显著提高。在VQA任务中，模型的准确率在受到PGD攻击后仅下降了3%，在受到CW攻击后下降了0.1%。

3. 查询分解的有效性： 在图像分类任务中，查询分解方法有效地提高了模型在面对敌意攻击时的准确率。在COCO数据集上，模型的准确率在受到PGD攻击后仅下降了5%，在受到CW攻击后下降了3%。

论文题目: On the Robustness of Large Multimodal Models Against Image Adversarial Attacks (CVPR2024)

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述