《Prototypical Contrastive Learning-based CLIP Fine-tuning for Object Re-identification》

原创 已于 2024-10-09 16:48:10 修改 · 1.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #行人重识别 #计算机视觉 #CLIP #原型对比损失 #cv #论文阅读

于 2024-03-10 18:12:59 首次发布
本文探讨了CLIP在行人重识别中的应用，提出了使用原型对比学习（PCL）损失直接微调CLIP图像编码器的方法，替代prompt learning。研究显示，这种方法在有监督和无监督的重识别任务中提高了CLIP的表现。PCL损失通过使实例靠近其类质心并远离其他质心，促进了区分不同类别的学习。文章还介绍了包含记忆库的模型框架，用于存储每个ID的视觉特征质心。

简介这也是关于CLIP的一篇用于目标重识别的文章，是以前面写过的一篇CLIP-ReID文章为基础进行的工作，主要是替换掉了text encoder，用一个Memory机制来代替了，只有一阶段。包含了行人重识别，也是基于图像的，个人认为作为拓展还是可以学学
预备知识：CLIP-ReID、prompt learning、prototypical contrastive learning(PCL)

论文作者：Jiachen Li,Xiaojin Gong
作者单位：College of Information Science and Electronic Engineering, Zhejiang University
paper：https://arxiv.org/abs/2310.17218v1
code：https://github.com/RikoLi/PCL-CLIP

ps：这边建议先熟悉一下这个博客：《CLIP-ReID Exploiting Vision-Language Model for Image Re-identification without Concrete Text Label》之后再来看这篇文章。咳咳，进入正题

一、Motivation

  • CLIP模型展现的优越性能，能够学习多种视觉和语言语义概念，并获得显著的迁移能力； 提示学习因其优越的性能和较低的计算成本而受到广泛的关注。
  • 在人员/车辆再识别中，类名不存在，因为类标签是ID的索引，缺乏语义信息。
  • CLIP-ReID中的提示学习本质上是为每个ID学习一个文本特征质心（如下图a）；并且CLIP-ReID中引入的图像到文本
最低0.47元/天 解锁文章
《论文阅读》Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation
MyHeartWillGoOn
11-11 1359
在对话中捕捉情绪在现代对话系统中起着至关重要的作用。然而，情绪和语义之间的弱相关性给对话中的情绪识别（ERC）带来了许多挑战。即使是语义相似的话语，情绪也可能因上下文或说话者而发生巨大变化。在本文中，我们为 ERC 任务提出了监督原型对比学习 (SPCL) 损失。利用原型网络，SPCL 旨在通过对比学习解决不平衡分类问题，并且不需要大批量。同时，我们设计了一个基于类别距离的难度测量函数，并引入课程学习来缓解极端样本的影响。我们在三个广泛使用的基准上取得了最先进的结果。
PCL :实现平面裁剪器PlaneClipper3D的使用（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
09-24 436
PCL :实现平面裁剪器PlaneClipper3D的使用（附完整源码）
《CLIP-ReID Exploiting Vision-Language Model for Image Re-identification without Concrete Text Label》
三明治的博客
03-10 2605
像CLIP这样的预训练视觉语言模型最近在包括图像分类和分割在内的各种下游任务上显示出优越的性能。然而，在细粒度图像再识别(ReID)中，标签是索引，缺乏具体的文本描述。因此，如何将这些模型应用于这些任务还有待确定。提出了一个两阶段的策略，以促进更好的视觉表现。关键思想是通过为每个ID提供一组可学习的文本标记，充分利用CLIP中的跨模态描述能力，并将其提供给文本编码器以形成模糊描述。第一个训练阶段，只有文本标记通过计算的对比损失从头开始优化。在第二阶段，为微调图像编码器提供了约束
读文章3:Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation
ABU0621的博客
01-17 1608
abstract总结：在UDA领域中，收集源域中标签很昂贵，所以为了解决这个问题，最近的研究提出实例式跨域自监督学习，然后进行微调。但是他有缺点，即只能学习和调整低层次的判别特征。本文提出了一种端到端的原型跨域自监督学习（PCS）框架，用于 "少量无监督域适应"（FUDA）PCS 不仅能进行跨域低级特征对齐，还能在跨域共享嵌入空间中对语义结构进行编码和对齐。他通过域内原型对比学习捕捉数据的类别语义结构，并通过跨域原型自监督执行特征配准。
如何用CLIP-ReID实现零文本标签的图像重识别？2023年AAAI顶会技术全解析
gitblog_00013的博客
10-28 433
CLIP-ReID是一个基于视觉-语言模型的图像重识别开源项目，它突破性地实现了**无需具体文本标签**即可完成高精度的人员、车辆等目标识别任务。作为2023年AAAI会议收录的创新技术，该项目通过融合CLIP模型的跨模态理解能力与传统重识别算法的优势，在MSMT17、Market-1501等权威数据集上取得了SOTA性能。本文将带你快速掌握这个黑科技工具的安装、配置与实战技巧！ ## ???? 核...
【AI视野·今日CV 计算机视觉论文速览 第277期】Fri, 27 Oct 2023
TomRen
11-16 1105
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 27 Oct 2023 Totally 93 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised Video Anomaly Detection Authors Anas Al lahham, Nurbek Tastan, Zaigham Zaheer,
基于原型对比学习的CLIP微调方法用于目标重识别
Together_CZ的博客
11-27 1393
Prototypical Contrastive Learning-based CLIP Fine-tuning for Object Re-identification 基于原型对比学习的CLIP微调方法用于目标重识别
《PROTOTYPICAL CONTRASTIVE LEARNING OF UNSUPERVISED REPRESENTATIONS》学习笔记
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
12-26 2363
PROTOTYPICAL CONTRASTIVE LEARNING引言方法实验Low-shot classification特征可视化消融实验 引言 本文提出了一种无监督表征学习方法，主要针对对比损失(contrastive loss) 和聚类方法(deep cluster)方法改进，对比损失主要基于噪声对比估计(noise contrastive estimator)，将同分布的embedding 拉近，不同分布的embedding距离推远。这些方法的主要问题是对比损失针对的实例判别任务只需浅层特征就可以
【迁移学习】Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation
毛毛的博客
11-25 3767
摘要 无监督域适应(UDA)将预测模型从完全标记的源域转移到无标记的目标域。然而，在某些应用程序中，甚至在源域中收集标签都很昂贵，这使得以前的大多数工作都不切实际。为了解决这个问题，最近的工作执行了基于实例的跨领域自我监督学习，然后是一个额外的微调阶段。然而，实例自监督学习只学习和对齐低层次的判别特征。在本文中，我们提出了一个端到端原型跨域自监督学习(PCS)框架用于小样本无监督域适应(FUDA)。PCS不仅对跨域低级特征对齐，而且对跨域共享嵌入空间中的语义结构进行编码和对齐。我们的框架通过域内原型对比学习
21-ICLR-Prototypical Contrastive Learning of Unsupervised Representations
BLvren_的博客
12-10 2395
对比学习 PCL（Prototypical Contrastive Learning）对比学习摘要Motivation实现 摘要 本文提出了原型对比学习，连接了对比学习和聚类的无监督表示学习方法。PCL不仅仅学习实例区分额任务的低阶特征，更重要的是它通过聚类到特征空间来编码了语义结构信息。具体地，我们引入原型作为隐形变量来帮助寻找模型参数的最大似然估计在一个EM框架下。迭代地进行E-step: 通过聚类寻找原型的分布，M-step：通过对比学习最优网络参数。提出了ProtoNCE loss, 使得表示更
SPCL：Siamese Prototypical Contrastive Learning
qq_45527974的博客
09-08 1254
对比学习前沿论文解析
[论文精读]Prototypical Contrastive Learning of Unsupervised Representations
m0_52911108的博客
12-03 1828
在本文中，我们提出了原型对比学习 （PCL），这是一种无监督表示学习的新框架，它将数据的语义结构隐式编码到嵌入空间中。图1显示了 PCL 的图示。原型被定义为“一组语义相似实例的代表性嵌入”。我们为每个实例分配了几个不同粒度的原型，并构建了一个对比损失，与其他原型相比，它强制样本的嵌入与其相应的原型更相似。在实践中，我们可以通过在 embedding 上执行聚类来找到原型。将原型对比学习表述为期望最大化 （EM） 算法， 其中，目标是找到最能描述数据分布的深度神经网络 （DNN） 的参数。
【ICLR 2021】自监督学习 | Prototypical contrastive learning of unsupervised representations
qq_41977459的博客
03-22 805
这篇文章提出了原型对比学习（PCL），一种最大化可观测数据似然来发现网络参数的通用无监督表示学习框架。PCL将引入的原型作为隐变量，利用基于EM算法的框架执行迭代的聚类和表示学习，并且可以通过对比损失ProtoNCE能够编码数据的语义结构。
行人重识别、车辆重识别全套代码：CLIP-ReID
03-30
行人重识别、车辆重识别全套代码：CLIP-ReID
Proto-CLIP: Vision-Language Prototypical Network for Few-ShotLearning——用于少样本学习的视觉-语言原型网络
Together_CZ的博客
12-16 2224
Proto-CLIP: Vision-Language Prototypical Network for Few-ShotLearning——用于少样本学习的视觉-语言原型网络
多模态 | Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation论文详解及实现
weixin_44649780的博客
05-12 1159
论文在对话中捕捉情绪在现代对话系统中起着至关重要的作用。然而，情感和语义之间的弱相关性给会话中的情感识别（ERC）带来了许多挑战。即使是语义相似的话语，情绪也可能因上下文或说话者而有很大差异。在本文中，为 ERC 任务提出了监督原型对比学习 (SPCL) 损失。利用原型网络，SPCL 旨在通过对比学习解决不平衡分类问题，并且不需要大批量。同时，我们设计了一个基于班级距离的难度度量函数，引入课程学习来减轻极端样本的影响。论文在三个广泛使用的基准测试中取得了最先进的结果。
【论文阅读】PGCL：Prototypical Graph Contrastive Learning
cziun的博客
08-15 2280
目录摘要1 引言2 相关工作3 准备工作3.1 问题定义3.2 GNN3.3 图对比学习4 PGCL4.1 相关视图的聚类一致性4.2 重加权对比目标5 实验 摘要 之前的对比方法存在一个抽样偏差问题，即负样本很可能与正样本具有相同的语义结构，从而导致性能下降。为了减轻该抽样偏差，本文提出了一种原型图对比学习(PGCL)方法。 具体来说，PGCL通过将语义相似的图聚类到同一组中来对图数据的底层语义结构进行建模，同时鼓励同一图的不同增强的聚类一致性。然后，给定一个正样本，通过从那些与正样本集群不同的集群中提取
基于CLIP视觉语言大模型的行人重识别方法的简单框架设计
max500600的博客
02-07 891
安装必要的库加载CLIP模型定义数据集类提取图像特征进行重识别测试。
多模态——CLIP:Contrastive Language-Image Pre-training解读
热门推荐
知来者逆的博客
12-27 1万+
CLIP作者提出了一种基于对比学习的多模态预训练模型CLIP，该模型打破了传统视觉模型只能在预定义的标签列表中识别这一范式，是一个zero-shot的视觉分类模型，并且预训练的模型在没有微调的情况下，可以在下游任务上取得很好的迁移效果。
Prototypical networks for few-shot learning
最新发布
11-12
Prototypical networks for few-shot learning 是少样本学习领域的重要研究，其核心论文《Prototypical Networks for Few - Shot Learning》提出了原型网络用于解决少样本学习问题。 原型网络的基本原理是在嵌入空间中为每个类别学习一个“原型”（prototype），这个原型是该类别所有样本嵌入向量的均值。在测试阶段，通过计算测试样本与各个类别原型之间的距离来进行分类，将测试样本分类到距离最近的原型所代表的类别中。 以下是一个简单的 PyTorch 代码示例，用于说明原型网络的基本流程： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的嵌入网络 class EmbeddingNetwork(nn.Module): def __init__(self): super(EmbeddingNetwork, self).__init__() self.fc1 = nn.Linear(10, 20) self.relu = nn.ReLU() self.fc2 = nn.Linear(20, 10) def forward(self, x): x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return x # 计算原型 def compute_prototypes(support_set, labels, num_classes): prototypes = [] for c in range(num_classes): class_indices = (labels == c).nonzero(as_tuple=True)[0] class_samples = support_set[class_indices] prototype = torch.mean(class_samples, dim=0) prototypes.append(prototype) return torch.stack(prototypes) # 分类函数 def classify(query_set, prototypes): distances = torch.cdist(query_set, prototypes) predictions = torch.argmin(distances, dim=1) return predictions # 初始化网络 embedding_net = EmbeddingNetwork() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(embedding_net.parameters(), lr=0.001) # 模拟数据 support_set = torch.randn(20, 10) # 20 个样本，每个样本 10 维 support_labels = torch.randint(0, 5, (20,)) # 5 个类别 query_set = torch.randn(10, 10) # 10 个查询样本 # 训练过程 for epoch in range(100): optimizer.zero_grad() support_embeddings = embedding_net(support_set) prototypes = compute_prototypes(support_embeddings, support_labels, 5) query_embeddings = embedding_net(query_set) predictions = classify(query_embeddings, prototypes) # 这里假设我们有查询样本的真实标签 query_labels = torch.randint(0, 5, (10,)) loss = criterion(predictions.float(), query_labels.float()) loss.backward() optimizer.step() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

反卷三明治

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值