AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models

文章主要内容与创新点总结

一、主要内容

本文聚焦多模态大型语言模型（MLLMs）的视觉概念遗忘问题，针对现有机器遗忘技术在视觉模态中存在的精准度不足、 collateral遗忘（附带遗忘）、模型效用下降等问题展开研究。

1. 研究背景：MLLMs依赖大规模数据集训练，常包含敏感或受版权保护的内容，需满足“被遗忘权”等法规要求，但现有机器遗忘技术多针对文本模态，视觉概念遗忘的精准性和安全性亟待提升—— naive方法易导致目标概念移除不彻底、非目标相似概念被误删或模型整体性能退化。
2. 核心方法：提出对抗性视觉概念遗忘框架AUVIC，通过三大核心组件实现精准遗忘：
   • 多模态对抗性扰动：文本端采用提示词变体增强鲁棒性，视觉端基于CLIP特征生成 imperceptible 图像扰动，强化目标概念激活信号；
   • 动态锚点保存机制：利用Gumbel-Softmax采样自适应选择语义/视觉相似的非目标概念进行保护，缓解附带遗忘；
   • 最小-最大优化目标：平衡目标遗忘损失（抑制目标概念）、概念保存损失（保留非目标概念）和一致性正则化损失（维持模型流畅性）。
3. 评估基准：构建首个视觉概念遗忘基准VCUBench，包含公众人物的单人肖像、群体照片及对应的VQA-style查询，覆盖15k+ 图像-问题-答案三元组，支持评估目标遗忘率、非目标保留率、语言流畅性等多维度指标。
4. 实验结果