2025_NIPS_Learning Robust Vision-Language Models from Natural Latent Spaces

文章核心总结与翻译

一、主要内容

文章聚焦视觉-语言模型（VLMs）在对抗性扰动下的脆弱性，提出协作对抗性提示调优（CoAPT）方法。通过改进的实时总变差正则化抑制图像高频细节以压缩对抗扰动空间，在自然CLIP的潜空间指导下恢复受损的自然泛化特征，结合低秩残差模块和Rényi散度正则化，实现自然泛化、对抗鲁棒性和任务特异性适配的平衡。在15个数据集的四项基准测试中，自然泛化性能平均提升9.83%，对抗鲁棒性平均提升24.16%。

二、创新点

1. 提出潜空间导向的对抗性提示调优范式，通过抑制高频细节和潜空间特征恢复，平衡鲁棒性与泛化性。
2. 设计实时自适应总变差正则化（Adaptive-FGP），结合空间自适应策略和自适应重启加速梯度法，高效抑制扰动空间。
3. 融合低秩残差模块和Rényi散度正则化，减少自然与对抗样本分布差异，避免过拟合，提升跨任务迁移能力。

三、核心部分翻译（Markdown格式）

Abstract

预训练视觉-语言模型（VLMs）对难以察觉的对抗性扰动表现出显著的脆弱性。当前先进的防御策略通常采用对抗性提示调优来提升VLMs的对抗鲁棒性，但这类方法难以在不同基准测试和下游任务中同时维持对自然样本和对抗样本的泛化能力。本文提出一种基于预训练VLMs的协作对抗性提示调优（CoAPT）方法，以构建鲁棒的VLMs。受图像掩码建模的启发，我们采用改进的实时总变差算法来抑制和消除图像的高频细节，