基于Adapter用CLIP进行Few-shot Image Classification

训练免费的Few-shot分类：Tip-Adapter与Meta-Adapter比较
最新推荐文章于 2025-02-19 16:30:21 发布
原创 最新推荐文章于 2025-02-19 16:30:21 发布 · 2.4k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉

文章探讨了如何在Few-shot分类任务中，通过无需训练的Tip-Adapter和在线学习的Meta-Adapter改进CLIP模型的性能。Tip-Adapter利用预训练模型和缓存知识，而Meta-Adapter则通过元学习机制减少过拟合，提供更广泛的泛化能力。

文章目录

【ECCV 2022】《Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification》

\quad 先来说一些Few-shot 分类任务是干嘛的：在只有很少数量的训练样本（通常是很小的数据集，N-way K-shot）的情况下，模型需要对新的、未见过的类别进行分类。比如，在下图的Tip-Adapter网络结构中，输入是N-way K-shot的图像和labels（文本），将他们输入到网络中，需要对未见过的test image进行分类，也就是在这些类别中找到它属于的类别。
\quad 再来说一下CLIP-Adapter是怎么做的。与之前的prompt tuning（CoOp）方法不同，CLIP-Adapter提出用特征适配器来适应视觉语言模型。CLIP Adapter仅在视觉或语言主干的最后一层之后添加了两个额外的线性层，并通过残差连接将原始Zero-Shot视觉或语言嵌入与相应的网络调整特征混合。通过这种“残差样式混合”，CLIP Adapter可以同时利用原始CLIP中存储的知识 和来自Few-Shot训练样本的新学习的知识 。下图是CLIP-Adapter与之前方法的对比，Av()和At()是两个MLP，W和f分别是分别是CLIP生成的文本（label）特征和图像特征。两者经过MLP后再连接，之后再预测。可以看出，这个范式是需要训练的。
在这里插入图片描述
\quad Tip-Adapter这篇文章认为，CoOp和CLIP-Adapter为了fine-tuning参数，会引入额外的计算资源，因此本文的目的在于设计一种training-free的few-shot分类方法。
在这里插入图片描述

最低0.47元/天 解锁文章
CLIP-Adapter：利用Adapter微调CLIP适配下游任务
梁瑛平的博客
10-15 4683
CLIP-Adapter: Better Vision-Language Models with Feature Adapters论文地址：代码地址：主要工作：具体实现：Classifier Weight Generation for Few-Shot Learning：CLIP-Adapter：实验结果：实验结果： 论文地址： https://arxiv.org/abs/2110.04544 代码地址： https://github.com/gaopengcuhk/CLIP-Adapter 主要工作： 在
Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification
weixin_48907099的博客
07-02 1303
CLIP 通过 Zero-shot 知识迁移在下游任务上表现出令人印象深刻的性能。为了进一步提高 CLIP 的自适应能力，现有方法提出对附加可学习模块进行微调，这大大提高了 Few-shot 性能，但引入了额外的训练时间和计算资源。提出了一种无需训练的 CLIP 进行 Few-shot 分类的方法，称为 Tip-Adapter，它不仅继承了 Zero-shot CLIP 无需训练的优点，而且性能与需要训练的方法相当。它们需要更多的计算资源来微调新引入的可学习参数。
CLIP-Image-Classification:带有OpenAI的CLIP的图像分类脚本。根据给定的任何类别进行分类，并且可以使用预加载的类别（例如ImageNet和Pokemon名称）
03-19
CLIP图像分类 使用 from classify import load , classify filename = "/content/input.jpg" load_categories = "imagenet" print ( "loading categories" ) load ( load_categories ) print ( "classifying" ) print ( classify ( filename )) load load ( "imagenet" ) #imagenet categories load ( "pokemon" ) #loads a list of 721 pokemon names as categories load ( "dog vs cat" ) #dog and cat as categories load ( "words i
【有啥问啥】CLIP Adapter：提升视觉语言模型性能的利器
Chauvin的博客
10-23 2347
CLIP Adapter作为一种轻量级且高效的模型扩展方法，为CLIP模型的应用提供了更多的可能性。通过引入适配层，CLIP Adapter能够在保持CLIP模型强大表征能力的同时，更好地适应下游任务，从而提升模型的性能。未来，随着研究的深入和技术的不断发展，CLIP Adapter有望在更多领域和任务中展现出其独特的优势和价值。我们期待看到更多关于CLIP Adapter的创新研究和应用实践，为视觉语言模型的发展注入新的活力。
阅读Domain Aligned CLIP for Few-shot Classification
weixin_47963230的博客
11-20 792
类似CLIP的大型视觉-文本表示学习模型受益于通过contrastive objectives的跨模态alignment，在向下游任务的zero-shot transfer展示了令人印象深刻的表现。这个下游表现可以进一步通过大尺度微调加强，通常是compute intensive的，需要大量标签数据，而且会减少out-of-distribution robustness。而且，跨模态alignment的sole reliance可能忽视每个模态中的丰富信息。
CLIP微调方式
weixin_44966641的博客
10-12 7030
以学习 prompt 的方式来进行少样本学习，性能提升的同时还能保持 CLIP 模型本身参数不动。挺有用的一篇工作，虽然这种 prompt 的方式在 NLP 中早就有了，但应用到多模态 CLIP 中还是有一些意义的。
论文解读：Frozen Feature Augmentation for Few-Shot Image Classification
weixin_50917576的博客
03-22 2092
在本文中，我们对小样本图像分类进行了广泛的试点研究，探索在冻结特征空间中应用数据增强，称为“冻结特征增强（FroFA）”，总共涵盖了二十种增强。 我们的研究表明，采用看似简单的逐点 FroFA（例如亮度）可以在三个网络架构、三个大型预训练数据集和八个迁移数据集上一致地提高少样本学习的性能。
ECCV 2022《Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification》
weixin_53356651的博客
01-07 1342
这篇文章中，作者提出了一种 **Training-free adaption method for CLIP** module来执行小样本分类任务，简写为**Tip-Adapter**。不仅继承了zero-shot CLIP不用训练(training-free)的优点，而且性能与那些需要训练的方法表现相当！
【提示学习论文】Learning to Adapt Category Consistent Meta-Feature of CLIP for Few-Shot Classification
weixin_51293984的博客
10-24 1072
问题：现有方法CoOp/Tip-Adapter只关注（与文本特征对齐的）高层次视觉特征。few-shot目标：通过少量的标记样本，对同类别的unseen image 进行分类。作者发现与高层次表示不同，低层次的局部表示在seen和unseen中更加一致。基于这一点，提出了MF-Adapter，结合了局部表示LRs（local representations）和高层次语义表示。特别地，引入了MF unit 元特征单元，一个简单高效的单元，进行局部相似性度量，以归纳的方式衡量类别一致的局部上下文。
Flamingo a Visual Language Model for Few-Shot Learning
weixin_44966641的博客
03-04 1862
Flamingo 的技术创新点很多，图文交错数据训练、multimodal few-shot / in-context learning、Perceiver Resampler、gated xattn dense 等。特别是图文交错数据实现了多模态的 few-shot / in-context learning。是很有价值的一篇多模态语言模型的工作。在 LLM 时代，也有很多多模态大模型会参考 resampler 的结构设计。
CLIP-Adapter: Better Vision-Language Models with Feature Adapters
weixin_48907099的博客
07-01 2011
为避免复杂的特征工程，CoOp 等方法通过上下文优化来学习一个有效的 Prompt，Prompt Tuning 大多应用于文本分支，因此提出一种方法在文本 / 图像分支添加适配器。
＜＜视觉问答＞＞2022：CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
金克丝的博客
05-15 3922
摘要： CLIP在各种视觉任务中表现出非凡的zero-shot能力，以前CLIP只被认为是一个强大的视觉编码器。然而，在经过大规模图像文本对的预训练后，CLIP本身也应该具备一些视觉语言任务的few-shot能力。我们的实验表明，CLIP可以成为一个强大的视觉语言few-shot学习器，我们首先评估了CLIP在vqa任务中的zero-shot性能，并展示了CLIP在visual entailment任务中的zero-shot跨模态迁移能力。然后，我们提出了一种参数有效的微调策略，以提高...
​ICCV 2023 | APE：对CLIP进行特征提纯能够提升Few-shot性能
阿木寺的博客
07-19 1843
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信交流群本文介绍我们在ICCV 2023上接收的论文《Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement》。这篇文章基于CLIP提出了一种特征提纯的方法为下游任务选择合适的特征，以此来提高下...
多模态模型CLIP原理与图片分类，文字搜索图像实战演练
m0_53157173的博客
02-19 2707
多模态模型CLIP原理与图片分类，文字搜索图像实战演练
CLIP-Adapter: Better Vision-Language Models with Feature Adapters 论文解读
qq_61786525的博客
11-23 2642
大规模对比视觉-语言预训练在视觉表示学习方面取得了显著进展。与传统的通过固定一组离散标签训练的视觉系统不同，(Radford et al., 2021) 引入了一种新范式，该范式在开放词汇环境中直接学习将图像与原始文本对齐。在下游任务中，通常需要精心设计的文本提示来进行零样本预测。为避免复杂的提示工程，(Zhou et al., 2021) 提出了上下文优化方法，利用少量样本学习连续向量作为任务特定的提示。在本文中，我们展示了除了提示调优之外，还有一条实现更优视觉-语言模型的替代路径。提示调优是针对文本输入
图片速览 CLIP-Adapter: Better Vision-Language Models with Feature Adapters
ResumeProject的博客
09-24 2115
大规模对比视觉语言预训练在视觉表征学习方面取得了显著进展。与由一组固定的离散标签训练的传统视觉系统不同，在（Radford等人，2021）中引入了一种新范式，以直接学习在开放词汇环境中将图像与原始文本对齐。在下游任务中，使用精心选择的文本提示进行零炮预测。为了避免非平凡的提示工程，提出了上下文优化（Zhou等人，2021），将连续向量学习为任务特定的提示，并使用少量的快照训练示例。在本文中，我们展示了实现更好的视觉语言模型的另一种途径，而不是快速调优。
大幅提升CLIP图像分类准确率-Tip-Adapter
whaosoft143ai的博客
09-25 2307
为了进一步提升 CLIP 的迁移性能，现有方法使用了 few-shot 的设置，例如 CoOp 和 CLIP-Adapter，即提供了少量下游数据集的训练数据，使得 CLIP 能够更好的针对不同的视觉场景做出调整。因为 CLIP 的 Textual Encoder 输出的特征可以看作是文本的 Key-Value，即相当于测试图片特征作为 Query，分别在视觉和文本的 Cache 中检索知识，相对于现有的仅含视觉 Cache 的方案，Tip-Adapter 能够利用多模态知识得到更强的识别性能。
【论文阅读】Domain-Rectifying Adapter for Cross-Domain Few-Shot Segmentation 详细解读
qq_52589927的博客
10-14 1883
CVPR2024，主要提出了一种适用于跨域少样本语义分割（Cross-Domain Few-Shot Segmentation, CD-FSS）的领域修正适配器方法。
Few-shot image classification based on gradual machine learning
最新发布
03-18
### 基于渐进式机器学习的少量样本图像分类 Few-shot 图像分类是一种旨在利用极少量标注数据来训练模型的技术。这种方法通常依赖元学习 (meta-learning) 或迁移学习 (transfer learning)，以便在新任务上快速适应并...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值