文章总结与翻译
一、主要内容
该研究针对基于CLIP的少样本学习方法存在的问题(离线方法需额外微调导致推理耗时且易过拟合、在线方法泛化能力有限),提出了一种轻量级残差风格适配器Meta-Adapter。其核心是通过元学习机制,在不额外微调CLIP主参数的前提下,利用门控多头注意力机制将少样本图像的视觉知识融入文本类别嵌入,实现在线少样本学习。
研究通过三类泛化性实验验证效果:在8个图像分类数据集的跨类别泛化任务中,16-shot设置下平均比现有在线方法Tip-Adapter提升3.6%;跨数据集泛化任务中,从ImageNet迁移到其他数据集时平均提升4.9%,且能更好应对领域偏移;跨任务泛化中,集成到ViLD框架后,在LVIS数据集的开放词汇目标检测和实例分割任务中,稀有类别的平均精度(APr)提升1.0%。此外,Meta-Adapter是即插即用模块,计算开销小(仅增加3ms延迟),可灵活适配多种基于CLIP的下游任务。
二、创新点
- 元学习驱动的在线适配机制:首次将元学习应用于视觉语言模型的少样本适配,采用元测试机制使模型在训练和测试类别不同的场景下仍能泛化,无需针对 unseen 类别进行离线微调。
- 轻量级网络结构设计:基于门控多头注意力构建残差网络,仅对文本类别嵌入进行精炼,不改变特征维度,既保证了高推理效率(参数仅2.1M),又避免了过拟合问题。
- 自适应特征融合策略:设计可学习门控模块,动态调节文本嵌入与少样本视觉特征的融合比例
订阅专栏 解锁全文
538



被折叠的 条评论
为什么被折叠?



