2025_NIPS_Backdoor Cleaning without External Guidance in MLLM Fine-tuning

文章核心总结与翻译

一、主要内容

本文聚焦多模态大型语言模型（MLLMs）在“微调即服务（FTaaS）”场景下的后门攻击防御问题。由于用户可上传自定义数据集微调模型，恶意攻击者可注入含后门触发器的毒化样本，使模型在正常输入上表现正常，却在触发条件下产生恶意输出。

研究发现后门触发器会导致模型出现“注意力坍缩（attention collapse）”现象：模型注意力异常集中于非语义区域（触发器），破坏跨模态语义对齐。基于此，提出无监督数据过滤框架Believe Your Eyes（BYE），通过三阶段流程防御后门攻击：

1. 提取微调模型的跨模态注意力图；
2. 计算注意力熵值，通过双模态分离筛选敏感层并构建熵特征；
3. 基于高斯混合模型（GMM）聚类移除低熵可疑样本（毒化样本）。

实验在LLaVA、InternVL等模型及ScienceQA、Flickr30k等多任务数据集上验证，BYE在将攻击成功率（ASR）降至接近零的同时，保持了清洁样本任务性能（CP），且无需清洁数据监督、辅助标签或模型修改。

二、创新点

1. 发现注意力坍缩现象：首次揭示MLLMs在基于补丁的后门攻击下，注意力会被触发器劫持，偏离任务相关语义，破坏