BadToken: Token-level Backdoor Attacks to Multi-modal Large Language Models

文章主要内容总结

核心贡献

1. 首次提出Token级后门攻击：针对多模态大语言模型（MLLMs）设计了两种新型攻击行为：

   • Token替换：将输出中的特定源token（如"red"）替换为目标token（如"green"）
   • Token插入：在输出末尾插入恶意token序列（如钓鱼链接）

2. 优化框架：

   • 提出结合有效性损失（最大化攻击成功率）和实用性损失（保持模型性能）的优化目标
   • 通过影子数据集训练实现触发模式与攻击行为的绑定

3. 防御验证：

   • 测试了微调（Fine-tuning）和输入净化（Zero-shot Image Purification）等防御方法的局限性
   • 发现Token替换攻击对微调具有较强抗性

关键发现

• 在LLaVA和MiniGPT-4等模型上实现了95%以上的