2025_NIPS_Towards Building Model/Prompt-Transferable Attackers against Large Vision-Language Models

文章核心总结与翻译

一、主要内容

本文聚焦大型视觉语言模型（LVLMs）的对抗性攻击问题，针对现有攻击方法易过拟合特定模型/提示、迁移性差的缺陷，提出一种基于信息论的跨模型/跨提示迁移攻击方法。通过分离输入图像的良性模式与对抗性扰动模式，利用互信息（MI）约束调整模型推理焦点，使生成的对抗样本能有效误导不同结构的黑盒LVLM和不同语义的任务提示，在图像描述、图像分类和视觉问答等任务中表现出优异的迁移攻击性能。

二、创新点

1. 提出跨模型/跨提示迁移攻击设定，首次实现单一对抗学习过程中同时支持跨模型和跨提示攻击，大幅降低攻击的时间和资源开销。
2. 从信息论视角切入，通过分离良性互信息（输出与良性模式的依赖）和对抗性互信息（输出与扰动模式的依赖），设计针对性约束引导模型聚焦对抗性扰动。
3. 构建轻量互信息估计网络，结合交叉熵损失形成优化目标，生成的对抗样本在多种LVLM模型和不同数量提示下均保持高迁移性和鲁棒性。

---

三、核心部分翻译（Markdown格式）

Abstract

尽管大型视觉语言模型（LVLMs）展现出令人印象深刻的多模态能力，但它们对对抗样本的脆弱性引发了严重的安全担忧。现