ICLR 2024 |冻结住的CLIP仍可作为教师模型！

最新推荐文章于 2025-01-14 18:19:51 发布
原创 最新推荐文章于 2025-01-14 18:19:51 发布
· 1k 阅读 · 11 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #深度学习 #计算机视觉 #大模型 #CLIP #论文阅读

 标题：FROSTER: Frozen CLIP is A Strong Teacher for Open-Vocabulary Action Recognition

背景介绍

本文的研究课题是开集动作识别（open-vocabulary action recognition），具体来说就是测试集中的视频动作类别与训练集动作类别基本没有重叠或重叠程度很小，因此这需要模型具备较高的泛化性能。目前视频领域主流的做法是基于图像-文本对预训练的模型（主要是CLIP）先在视频数据集上进行fine-tuning，然后再进行测试集的验证。通过实验探索，我们发现：尽管fine-tuning可以让CLIP具备不错的视频特征提取的能力，但这也会让它失去大规模预训练所得到的泛化性能。具体的表现就是，那些在闭集（closed-set）场景下优秀的视频分类器们，一到了开集场景下实验性能便大大缩水，甚至不如原先的预训练CLIP模型了。因此如何让视频模型在fine-tuning的同时还能保持住预训练的知识，成为了本文的研究重点。

问题探究

我们首先尝试了一组在闭集场景下表现优异的CLIP-based的视频模型：Action CLIP[1] , AIM ST-Adapter [2]以及 ST-Adapter[3]。 具体的实验设置为：首先将模型在Kinetics-400上进行fine-tuning，然后在UCF-101，HMDB-51以及Kinetics-600数据集上分别进行了测试。需要特别注意的是，针对Kinetics-600数据集，我们将验证集中与Kinetics-400相同的类别剔除，以保证开集验证的可靠性。实验结果如下图1所示。

图1: 跨数据集性能探究

不难发现，在UCF-101与HMDB-51数据集上，fine-tune模型的性能比Frozen CLIP更强，但是在Kinetics-600数据集上，fine-tune模型的实验性能却比frozen CLIP要更弱。这种不一致的泛化性表现引起了我们的好奇心，因此我们进一步地去分析训练集（Kinetics-400）与各个测试集（UCF-101，HMDB-51和Kinetics-600）之间的类别相似性关系。具体来说，我们用CLIP的text encoder提取不同数据集的各个类别的文本特征，然后利用余弦相似度进行类别相似性的度量。图1中，我们用小括号中的数字来表示数据集类别的相似度，如：UCF-101（0.805）。我们注意到，在测试数据与训练数据具备更高相似度的数据集上（UCF-101和HMDB-51），fine-tune模型相较

最低0.47元/天 解锁文章
大语言模型（LLM）与智能机器人的应用分析
weixin_46300916的博客
12-07 1032
在过去十年中，我们见证了机器人领域在应用语言模型 (LMs) 方面取得了显著进展。这一进步不仅包括人类般的交流能力，还包括机器人的理解和推理能力，从而显着提高了它们在各种任务中的有效性，从家务到工业操作 [52，105]。在工作初期阶段的成功源于统计模型分析和预测语言表达中的单词。这些模型使机器人能够解释人类命令[110，121]、理解上下文[3，5]、代表世界[50]并与人类互动[135]，尽管其理解深度有限。
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1781
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
Frozen CLIP: A Strong Backbone for Weakly Supervised Semantic Segmentation
sanguine__的博客
09-10 1569
2024cvpr
冻结的CLIP模型：高效视频学习者
gitblog_00064的博客
06-10 616
冻结的CLIP模型：高效视频学习者 去发现同类优质开源项目:https://gitcode.com/ 在这个项目中，我们引入了一种新颖的视频理解框架——Frozen CLIP models are Efficient Video Learners，它利用预训练且固定的图像后端（如CLIP）和可训练的Transformer解码器以及局部时间模块来实现高效的视频学习。 项目介绍 EVL（Efficie...
ICLR 2024 | 冻结住的CLIP仍可作为教师模型！港大提出全新开集动作识别模型
Paper weekly
05-09 292
©作者 |虎子哥单位 |香港大学论文标题：FROSTER: Frozen CLIP is A Strong Teacher for Open-Vocabulary Action Recognition论文链接：https://arxiv.org/pdf/2402.03241代码链接：https://github.com/Visual-AI/FROSTER背景介绍本文的研究课题是开集动作识别（o...
ICLR 2024 | 冻结住的CLIP仍可作为教师模型！
阿木寺的博客
02-21 517
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【CV技术/投稿/求职】交流群扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！作者：虎子哥（已授权转载）https://zhuanlan.zhihu.com/p/681708426标题：FROSTER: Frozen CLI...
ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者
努力努力再努力的小马
09-12 1094
作者提出了一种新的视频动作识别pipeline形式：在固定的可迁移图像特征之上学习一个有效的迁移学习头。通过冻结图像主干，训练时间大大减少。此外，通过利用来自主干的多层高分辨率中间特征图，可以在很大程度上补偿由于冻结主干造成的精度损失。因此，本文的方法有效地利用了强大的图像特征进行视频识别，同时避免了对非常大的图像模型进行繁重或令人望而却步的全面微调。作者进一步表明，在开放世界环境中学习的可转移图像特征包含与标记数据集高度互补的知识，这可能会激发更有效的方法来构建最先进的视频模型。
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
Revisiting Adversarial Training at Scale：一种针对大模型进行加速对抗训练的方法
v1716836592的博客
02-13 1201
Revisiting Adversarial Training at Scale 论文粗读
open-set recognition(OSR)开集识别
kuxingseng123的博客
11-24 6752
先大致了解是干什么的，然后再慢慢开始研究OSR，争取把 其完全搞透彻，搞彻底再说的样子与打算。
大力出奇迹的CLIP模型 | 一文了解CLIP模型！
DIVINER_Feng的博客
08-01 6232
CLIP真正的把视觉语义与文字语义联系到了一起。因此，该模型学习到的特征语义性非常强，迁移的效果也非常好。CLIP模型最大的贡献是打破了之前固定种类标签的范式，无论是在收集数据集时或训练模型时，都无需像ImageNet那样分1000类，设置1000个类别标签，可以直接搜集图片-文本的配对，然后用无监督的方式去预测其相似性。CLIP 论文逐段精读【论文精读】_哔哩哔哩_bilibili。
整理：4篇论文让你弄清楚CLIP在计算机视觉领域最新应用
mslion的博客
09-02 4547
我们整理了有关 CLIP 在计算机视觉领域最新应用的论文，这些研究深入探讨了 CLIP 的优化方向及其在语义分割中的具体应用。
开集识别（Open Set Recognition）
热门推荐
Black的博客
09-01 2万+
开集识别 闭集识别 ​ 训练集中的类别和测试集中的类别是一致的，最常见的就是使用公开数据集进行训练，所有数据集中的图像的类别都是已知的，没有未知种类的图像。传统的机器学习的算法在这些任务上已经取得了比较好的效果。 开集识别简述 ​ 现实场景中更多的是开放和非静态的环境，比如，一些没有见过的情况会意外出现。针对这一挑战提出的方法有持续学习、迁移学习、域适应、零样本、少样本学习、开集识别和分类等。 ​ 开集识别简单定义是，一个在训练集上训练好的模型，当利用一个测试集（该
YOLO-World技术小结
weixin_40779727的博客
02-21 3324
的key，value，将text embedding作为query进行特征交互，从而得到image-aware的文本特征向量。目前我们可以很方便的拿到图片对数据，此处的目标是如何将图文对数据转化成，图片-instance annotation （还可以根据传入的图片和text，输出预测的box及相关的object embedding。当推理的词表是固定的时候，此时text encoder的输出是固定的，再通过NMS过滤掉冗余的bounding box。的标签是用2.3.1节的方法生成的，含有较多噪声导致。
【读点论文】torchdistill: A Modular, Configuration-Driven Framework for Knowledge Distillation，文件配置完成知识蒸馏
白水空空
07-17 1260
我们框架中模块抽象的一个目标是让研究人员只需更改第 2.3 节中描述的 PyYAML 配置文件即可试验各种模块。我们将抽象重点放在要进行实验的关键模块上，特别是模型架构、数据集、转换和训练期间要最小化的损失。这些模块通常在作者发布的框架 中是硬编码的（参见附录 A），许多超参数也是硬编码的。模型架构：torchvision 为视觉任务提供了各种模型系列，从 AlexNet 到 R-CNN ，其中许多模型都是在大型基准数据集上进行预训练的。
《Towards Open Set Deep Networks》：一文搞懂开集识别算法 OpenMax：
weixin_54353432的博客
05-05 8445
《Towards Open Set Deep Networks》：一文搞懂开集识别算法 OpenMax
论文解读：(CAVPT)Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model
weixin_50917576的博客
04-26 1868
随着大型预训练视觉语言模型(如CLIP)的出现，可转移表征可以通过及时调整适应广泛的下游任务。从存储在预训练模型中的一般知识中，提示调优探测下游任务的有益信息。最近提出了一种名为上下文优化(CoOp)的方法，该方法从语言方面引入了一组可学习向量作为文本提示。然而，单独调整文本提示符只能调整合成的“分类器”，而不能影响图像编码器的计算视觉特征，从而导致次优解。在本文中，我们提出了一种新的双模态提示调谐(DPT)范式，通过同时学习文本和视觉提示。
开集图像识别（open-set recognition）
qq_45691955的博客
03-15 3483
使用深度学习方法进行开集识别，并且使用不同的评估方式
yolo-world 源码解析（一）
龙哥盟
03-08 1312
.\YOLO-World\configs\deploy\detection_onnxruntime-fp16_dynamic.py # 设置基础路径为指定的配置文件路径 _base_ = ( '../../third_party/mmdeploy/configs/mmdet/detection/' 'detection_onnxruntime-fp16_dynamic.py') # 定义代码库配置，包括模型类型、任务类型、后处理参数等 codebase_config = dict(
ICLR 2024 GNN
最新发布
01-20
### ICLR 2024中的图神经网络(GNN) 对于ICLR 2024会议中有关GNN的研究动态，虽然具体细节尚未公布，但从以往的趋势可以推测一些可能的方向。考虑到NeurIPS这样的顶级会议已经展示了大量关于图上的机器学习成果[^1]，以及专门针对图结构数据的学习方法如超双曲图神经网络的发展[^3]，预计ICLR 2024也将继续关注这一领域。 #### 预期的论文主题 鉴于先前的工作表明预训练语言模型能够显著减少特定任务所需的标注量并推动少样本和零样本学习的进步[^4]，未来可能会有更多的研究探索如何将这些技术应用于GNN框架内，特别是在处理半监督或无监督场景下的节点分类、链接预测等问题时。此外，随着对复杂关系建模需求的增长，新型架构设计及其理论分析将成为热点之一。 #### 可能举办的研讨会 由于之前提到过不少NeurIPS workshop的内容会在次年的其他会议上重现，因此合理猜测，在ICLR 2024期间也有可能会举办类似的专题讨论活动来探讨最新的研究成果和技术挑战。特别是那些涉及跨学科交叉应用（比如生物信息学、社交网络分析等领域）或者是新兴方向（例如量子计算辅助下的高效算法实现等），都将是潜在的主题范围。 ```python # 示例代码展示了一个简单的GNN模型定义过程 import torch.nn as nn from torch_geometric.nn import GCNConv class SimpleGNN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(SimpleGNN, self).__init__() self.conv1 = GCNConv(input_dim, hidden_dim) self.conv2 = GCNConv(hidden_dim, output_dim) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值