2025_NIPS_Attention! Your Vision Language Model Could Be Maliciously Manipulated

文章核心总结与翻译

一、主要内容

文章聚焦视觉语言模型（VLMs）的安全漏洞，提出一种名为VMA（Vision-language model Manipulation Attack）的对抗性攻击方法。通过在输入图像中添加人类不可感知的扰动，VMA能精准操控VLMs的输出token序列，实现多种攻击场景（如越狱、劫持、幻觉诱导、隐私泄露、拒绝服务、生成海绵示例），同时可用于版权保护的水印注入。文章通过理论分析证明视觉扰动对模型输出的影响大于文本扰动，并在8个任务、4个主流VLMs（Llava、Phi3、Qwen2-VL、DeepSeekVL）上验证了VMA的有效性和泛化性。

二、创新点

1. 首次从理论和实证层面验证VLMs对视觉输入扰动的高敏感性，证明其输出比文本扰动更易被操控。
2. 提出VMA攻击方法，融合一阶和二阶动量优化与可微变换机制，实现对VLMs输出token的精准操控。
3. 构建通用攻击框架，支持多种恶意攻击场景，同时具备良性应用价值（如数字水印）。
4. 系统验证了VMA在不同任务、模型和数据集上的有效性，平均攻击成功率达90.25%。

---

三、核心部分翻译（Markdown格式）

Abstract

视觉语言模型（VLMs）在理解复杂现实场景和支持数据驱动决策过程中取得了显著成功。然而，VLMs对文本或图像形式的对抗性样本表现出显著的脆弱性，可能导致多种对抗性结果，例