2025_NIPS_Quantifying Cross-Modality Memorization in Vision-Language Models

文章主要内容与创新点总结

一、主要内容

本文聚焦视觉-语言模型（VLMs）中的跨模态记忆问题，系统探究文本与图像模态间的事实知识记忆与迁移特性，核心内容如下：

1. 研究背景：现有研究多关注单模态记忆（如语言模型的文本记忆、扩散模型的图像记忆），而实际应用中多模态模型需整合多源信息，跨模态记忆的量化与特性研究存在空白。
2. 数据集构建：设计合成“角色画像数据集”（synthetic persona dataset），包含100个独特角色，每个角色具备属性组合（人口统计学、视觉特征、语境元素等）、唯一姓名、关联幸运数字，以及多组图像-文本描述对（训练用100个变体+测试用1个未见样本），确保实验可控性。
3. 核心实验与发现：
   • 跨模态迁移存在显著差距：单模态训练的知识可向另一模态迁移，但源模态与目标模态的召回准确率存在明显鸿沟，且图像到文本的迁移效果优于文本到图像。
   • 缓解策略有效性验证：多样化训练数据可减轻过拟合，但无法提升跨模态迁移率；增大模型规模能提高单模态准确率，却不改善迁移效率；仅通过分布内（ID）图像-文本对数据增强，可有效缩小模态差距，分布外（OOD）数据无此效果。
   • 跨模态遗忘特性：遗忘效果具有模态依赖性，在与学习模态相同的场景下，遗忘效果可跨模态保持一致；若遗忘与学习模态不同，则效果无法平等迁移。
   • 跨模态多跳诅咒：模型虽能掌握单跳关联（如描述→姓名、图像→姓名），但难以完成跨模态多跳推理（如描述→幸运数字