2025_NIPS_GraphAdapter: Tuning Vision-Language Models With Dual Knowledge Graph

文章总结与翻译

一、主要内容

该研究聚焦于视觉语言模型（VLMs）在低数据场景下的高效迁移学习（ETL），针对现有适配器风格调优方法存在的“单模态建模任务特定知识”和“忽视下游任务类别间结构知识”两大局限，提出了一种名为GraphAdapter的新型适配器调优策略。

核心思路是构建双知识图谱（文本知识子图+视觉知识子图），分别捕捉文本模态中类别语义的关联关系和视觉模态中样本特征的关联关系，再通过图卷积网络（GCN）将双模态结构知识融合到文本适配器中，实现对原始文本特征的残差调制，从而提升下游任务分类性能。

在11个基准数据集（涵盖普通分类、细粒度分类、遥感分类、纹理分类等）的少样本学习实验中，GraphAdapter在1-shot至16-shot设置下均显著优于Zero-shot CLIP、CoOp、CLIP-Adapter等现有方法；在跨域数据集（ImageNet-V2/-Sketch/-A/-R）上的实验验证了其良好的泛化能力；复杂度分析表明其可调参数、计算量、训练/推理时间均满足高效迁移学习需求，且可灵活集成到其他适配器风格方法中。

二、创新点

1. 提出双模态结构知识建模理念：首次指出文本和视觉空间中的类别间关系对低数据场景下VLMs的高效迁移学习至关重要，突破了现有方法单模态建模的局限。
2. 设计双知识图谱架构：构建文本知识子图（以类别提示词的文本特征为节点，余弦相似度为边）和视觉知识子图（以同类训练样本的平均视觉特征为节点，余弦相似度为边