2025_NIPS_On Evaluating Adversarial Robustness of Large Vision-Language Models

文章总结与翻译

一、主要内容

该研究聚焦大型视觉语言模型（VLMs）的对抗鲁棒性评估，核心围绕“黑盒访问+有目标攻击”这一高风险现实场景展开。研究指出，VLMs（如GPT-4、MiniGPT-4等）虽在多模态交互中表现出色，但视觉模态易受人类不可感知的对抗性扰动影响，可能被攻击者利用生成目标响应，引发安全隐患。

研究设计了两种核心攻击策略：

1. 迁移式攻击（Transfer-based）：以CLIP、BLIP等预训练模型为代理模型，通过匹配图像-文本特征（MF-it）或图像-图像特征（MF-ii）生成对抗样本，再迁移至目标VLMs（如MiniGPT-4、LLaVA、BLIP-2等）；
2. 查询式攻击（Query-based）：基于迁移式攻击生成的对抗样本初始化，利用随机无梯度（RGF）方法估计梯度，优化文本-文本特征匹配（MF-tt），进一步提升攻击效果。

实验结果显示，两种策略结合（MF-ii + MF-tt）能实现高成功率的目标响应诱导，且对抗性扰动具有人类不可感知性。研究还通过GradCAM可视化、扰动预算分析等，验证了VLMs的固有脆弱性，并指出系统鲁棒性高度依赖最脆弱的输入模态。

二、创新点

1. 场景创新性：首次在“黑盒访问、有目标攻击、仅扰动视觉输入、人类不可感知扰动”的强约束下，系统评估开源大型VLMs的对抗鲁棒性，贴合实际部署风险；
2. 攻击策略优化