文章总结与翻译
一、主要内容
本文聚焦数据预选择任务,旨在从无标签数据集中通过单次筛选挑选出待标注样本,在标注预算有限的情况下优化未知下游视觉任务的性能。传统方法多依赖视觉基础模型的单模态视觉特征,忽略了文本特征的潜力。
为此,作者提出UP-DP(Unsupervised Prompt Learning for Data Pre-Selection)方法,将无监督提示学习融入视觉语言模型(以BLIP-2为基础),在冻结BLIP-2参数的前提下,训练文本提示以提取视觉-文本联合特征,形成覆盖全数据集的多样化聚类结构。
通过7个基准数据集(涵盖通用物体分类、细粒度分类、纹理识别等任务)的实验验证,UP-DP相比现有方法性能提升最高达20%,且从一个数据集学到的提示具有强泛化性,可直接应用于其他数据集提升特征提取效果。此外,该方法在语义分割任务中也表现出稳健性,且短上下文长度(如4个token)比长上下文更利于泛化。
二、创新点
- 首次将无监督提示学习应用于视觉语言模型的数-据预选择:突破传统依赖单模态特征或有监督提示学习的局限,无需初始标签和下游任务信息,仅通过无监督训练文本提示挖掘视觉-文本联合特征的潜力。
- 联合对比学习优化特征表示:设计实例级和聚类级双重对比损失函数,使提取的特征既保证同类样本相似度,又增强不同聚类的区分度,形成结构清晰的聚类结果。
- 提示具有跨数据集泛化性:从单一数据集学到的提示可直接迁移到其他不同类型的数
订阅专栏 解锁全文
3289



被折叠的 条评论
为什么被折叠?



