2025_NIPS_Benchmarking Robustness of Adaptation Methods on Pre-trained Vision-Language Models

文章总结与翻译

一、主要内容

本文聚焦预训练视觉语言（VL）模型适配方法的鲁棒性问题，针对现实应用中测试样本与适配数据存在分布偏移的场景，开展了系统性研究。

1. 研究背景：现有LoRA、提示词、适配器等11种主流适配方法虽能提升VL模型在特定领域的性能，但缺乏对分布偏移（如图像噪声、文本拼写错误等）的鲁棒性评估，而安全关键领域（如自动驾驶、临床诊断）对模型鲁棒性要求极高。
2. 核心构建：设计了7个基准数据集，包含96种视觉损坏（如噪声、模糊、天气干扰等5大类20种方法，含5级严重程度）和87种文本损坏（字符、单词、句子级3大类6子类35种方法），覆盖4个经典VL数据集（VQAv2、GQA、NLVR2、MSCOCO Caption）。
3. 实验设置：以CLIP-BART（T5）为基础模型，在视觉问答、视觉推理、图像描述等任务上，评估了全微调、软提示词、LoRA、适配器及其变体（如Hyperformer、Compacter）等适配方法的鲁棒性，采用相对鲁棒性（RR）等指标量化性能。
4. 关键发现：
   • 适配方法对文本损坏的敏感性高于视觉损坏；
   • 全微调并非总能获得最佳鲁棒性，适配器在保持相当清洁数据性能的同时，鲁棒性更优；
   • 增加适配数据量和可训练参数数量无法保证鲁棒性提升，甚至可能导致性能下降；
   • 无单一适配方法能在所有任务和损坏类型中表现最优。
   <