paper reading: Tip-Adapter: Training-free Adaption of CLIP for few-shot classification ECCV2022

最新推荐文章于 2025-08-04 11:16:42 发布
原创 最新推荐文章于 2025-08-04 11:16:42 发布 · 396 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

Tip-Adapter是一种基于CLIP的小样本分类技术，无需额外训练。它使用小样本集构建适配器，通过多模态cache模块存储视觉和文本知识，更新CLIP的先验信息，实现与训练方法相当的性能。

Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification

提出利用CLIP，不用训练的自适应方法，进行小样本分类。它不仅继承了零样本CLIP的不用训练优势，而且性能与那些需要训练的方法相当。。

Tip-Adapter 方法是利用小样本训练集中的键值缓存模型构建适配器，并通过特征检索更新 CLIP 中编码的先验知识。

对于小样本数据集，利用CLIP提取视觉特征表示，利用one-hot编码真值标签。

在KQV机制下的cache模型，并整合CLIP预训练的知识信息，进而完成小样本分类任务。

框架图：

 

所提出的方法和CLIP-Adapter相比：

多模态cache模块，能够暂存CLIP编码出来的视觉和文本知识。

 

 

我是家家
关注
Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification
weixin_48907099的博客
07-02 1314
CLIP 通过 Zero-shot 知识迁移在下游任务上表现出令人印象深刻的性能。为了进一步提高 CLIP 的自适应能力，现有方法提出对附加可学习模块进行微调，这大大提高了 Few-shot 性能，但引入了额外的训练时间和计算资源。提出了一种无需训练的 CLIP 进行 Few-shot 分类的方法，称为 Tip-Adapter，它不仅继承了 Zero-shot CLIP 无需训练的优点，而且性能与需要训练的方法相当。它们需要更多的计算资源来微调新引入的可学习参数。
ECCV 2022《Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification》
weixin_53356651的博客
01-07 1349
这篇文章中，作者提出了一种 **Training-free adaption method for CLIP** module来执行小样本分类任务，简写为**Tip-Adapter**。不仅继承了zero-shot CLIP不用训练(training-free)的优点，而且性能与那些需要训练的方法表现相当！
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
weixin_44031582的博客
12-14 9326
Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling Tip-Adapter为CLIP模型添加了一个两层多层感知器(MLP)的Adapter和一个结合pre-trained features与updated features的残差连接。与CLIP-Adapter不同，Tip-Adapter不需要SGD来训练Adapter，而是从few-shot监督中构建一个query-key缓存模型，以获得Adapter的权
Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
Joselynzhao
02-22 593
Abstract In this paper, we propose Training-Free CLIP-Adapter (Tip-Adapter), which not only inherits CLIP s training-free advantage but also performs comparably or even better than CLIP-Adapter. Tip-Adapter does not require any back propagation for train..
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling详解
zcyzcyjava的博客
08-28 3065
Tip-Adapter通过一个键值缓存模型从几张照片的训练集中构建适配器，并通过特征检索更新CLIP中编码的先验知识。此外，在此基础上，通过对缓存模型的微调，Tip-Adapter的性能可以进一步提升到ImageNet上的最先进水平，比现有的方法少10倍的epochs，这既有效又高效。.........
PPT: Pre-trained Prompt Tuning for Few-shot Learning
weixin_50917576的博客
06-14 1651
预训练语言模型(PLMs)的提示通过弥合预训练任务和各种下游任务之间的差距，显示出了显著的性能。在这些方法中，提示调优(prompt tuning)冻结PLM，只调整软提示，为大规模PLM适应下游任务提供了一种高效的解决方案。然而，提示调整尚未得到充分的探索。在我们的先导实验中，我们发现当下游数据充足时，提示调优的性能与传统的全模型调优相当，而在小样本学习设置下，提示调优的性能要差得多，这可能会阻碍提示调优的应用。我们将这种低性能归因于初始化软提示的方式。因此，在本工作中，我们。
推荐开源项目：Tip-Adapter - 数据结构适配器库
gitblog_00007的博客
04-18 539
推荐开源项目：Tip-Adapter - 数据结构适配器库 项目简介 是一个由 Gaopengcuhk 开发并维护的 C++ 库，其核心目标是为程序员提供一种便捷的方式来创建和操作数据结构。通过封装现有的容器（如 std::vector, std::map 等）并添加额外的功能，Tip-Adapter 能让开发者更高效地处理各种数据结构，从而提高代码的可读性和可维护性。 技术分析 Tip-Adap...
论文阅读笔记：小样本图像分类，Tip-Adapter
qq_39422822的博客
04-21 1165
ECCV, 2022。
【CLIP-FO3D: Learning Free Open-world 3D Scene Representations from 2D Dense CLIP】论文笔记
m0_46261292的博客
04-20 901
训练一个3D场景理解模型需要复杂的人工注释，收集起来很费力，并导致模型只编码近集对象语义。视觉语言预训练模型(例如CLIP)显示出显著的开放世界推理特性。因此，作者提出直接将CLIP的特征空间无监督的迁移到3D场景理解模型中。1.修改CLIP的输入和转发过程，使其能够适应于提取3D场景内容的密集像素特征。2.将多视图图像特征投影到点云上，并使用特征蒸馏训练三维场景理解模型。1.模型在开放词汇语义和长尾概念上实现了很好的无标注语义分割结果。
大幅提升CLIP图像分类准确率-Tip-Adapter
weixin_41066620的博客
07-25 490
搬运工装环境之余 弄来的 勿怪啊 为了学习啊 国人的ai真的这么厉害了吗先上代码和论文论文链接：https://arxiv.org/pdf/2207.09519.pdf代码链接：https://github.com/gaopengcuhk/Tip-Adapte一．研究背景对比性图像语言预训练模型（CLIP）在近期展现出了强...
Tip-Adapter：免训练的小样本分类新方案
m0_58465853的博客
08-04 911
Tip-Adapter 的核心创新在于其适配器（缓存模型）的构建和推理过程完全。
阅读Domain Aligned CLIP for Few-shot Classification
weixin_47963230的博客
11-20 804
类似CLIP的大型视觉-文本表示学习模型受益于通过contrastive objectives的跨模态alignment，在向下游任务的zero-shot transfer展示了令人印象深刻的表现。这个下游表现可以进一步通过大尺度微调加强，通常是compute intensive的，需要大量标签数据，而且会减少out-of-distribution robustness。而且，跨模态alignment的sole reliance可能忽视每个模态中的丰富信息。
基于远程服务器 Tip_Adapter源码从零开始复现
zcyzcyjava的博客
08-31 1502
从零一步步实现源代码的运行
基于Adapter用CLIP进行Few-shot Image Classification
Iron_lyk Blog
11-18 2474
CLIP-Adapter、Tip-Adapter、Meta-Adapter文章阅读笔记
CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION
weixin_50917576的博客
05-17 1078
少样本分类旨在识别新类别，每个类别中只有很少的标记图像。现有的基于度量的少样本分类算法通过使用学习的度量函数将查询图像的特征嵌入与少数标记图像(支持示例)的特征嵌入进行比较来预测类别。虽然这些方法已经证明了良好的性能，但由于域间特征分布的巨大差异，这些方法往往不能推广到未见过的域。在这项工作中，我们解决了基于度量的方法在域移位下的少样本分类问题。我们的核心思想是在训练阶段使用特征转换层来增强图像特征，使用仿射变换来模拟不同域下的各种特征分布。
论文解读：Label Hallucination for Few-Shot Classification
weixin_50917576的博客
04-26 1035
尽管新类的标签并不能“恰如其分”地表示基数据集中的样本，但是很多基数据集的样本会包含与新类中相似的对象，例如，基数据集中的老虎和新类中的猫有相似的特征，那么就有60%的概率将老虎打上猫的标签；或者基数据集中的图片与新类中的图片有背景相似，比如“car”和“pedestrians”即车和行人的背景可能都是街道，那么打完伪标签后，两幅图的标签很有可能相同。而我们通过伪标签数据集来微调整个模型，训练网络识别基数据集上的这些相似特性或背景线索，从而将representation转向对新类识别有用的特征。
（2020，特征相关度）用于跨域少样本分类的由解释引导的训练
qq_44681809的博客
12-12 1977
跨域少样本分类任务面对的挑战主要来自于：每个类别中有标签样本的稀少，以及training set和testing set属于不同的domain。本文基于现有的FCS提出了新的训练方法。它使用了FSC模型预测时获得的解释，该值用于模型的中间特特征图。首先，我们调整了每个layer的重要性传播，从而解释FSC模型的预测。第二，作者改进了与模型无关的由解释引导的训练：动态的寻找并强调对预测重要的特征。本研究不是为了提出新的解释方法，而是聚焦于explanation在训练阶段的新用法。
Activate Learning for domain adaption： An Energy-Based Approach
最新发布
10-03
由于没有关于“Activate Learning for domain adaption: An Energy - Based Approach”的具体引用内容，下面结合专业知识进行介绍。 主动学习（Active Learning）是一种机器学习范式，其核心思想是让模型主动地选择最有价值的数据进行标注，从而在有限的标注数据下提高模型性能。而领域自适应（Domain Adaptation）旨在解决源领域和目标领域数据分布不一致的问题，使得在源领域训练的模型能够在目标领域上有较好的表现。 “Activate Learning for domain adaption: An Energy - Based Approach”可能是将主动学习的方法应用于领域自适应问题，并且采用了基于能量的方法。基于能量的模型通常定义一个能量函数，通过最小化能量函数来学习数据的分布。在这个研究中，可能利用能量函数来衡量数据的不确定性或者数据在不同领域间的差异，以此为依据选择最有价值的数据进行标注，进而提高领域自适应的效果。 例如，在图像识别任务中，源领域可能是标注好的公开图像数据集，目标领域是实际应用场景下的图像数据，两者的图像分布可能存在差异。通过基于能量的主动学习方法，模型可以选择那些处于领域边界、难以分类的数据进行标注，从而让模型更好地适应目标领域的分布。 ```python # 这里只是一个简单示意的代码框架，并非完整可运行代码 import torch # 定义一个简单的能量函数示例 def energy_function(data): # 这里只是简单的平方和作为能量，实际中会更复杂 energy = torch.sum(data**2) return energy # 假设有一批未标注数据 unlabeled_data = torch.randn(100, 10) energies = [] for data in unlabeled_data: energy = energy_function(data) energies.append(energy) # 选择能量最大的数据进行标注 selected_index = torch.argmax(torch.tensor(energies)) selected_data = unlabeled_data[selected_index] ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值