《Prototypical Contrastive Learning-based CLIP Fine-tuning for Object Re-identification》

已于 2024-10-09 16:48:10 修改
阅读量1.4k 收藏 20
点赞数 17
CC 4.0 BY-SA版权
分类专栏： 视频行人重识别 文章标签： 人工智能 行人重识别 计算机视觉 CLIP 原型对比损失 cv 论文阅读
于 2024-03-10 18:12:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Jacompol/article/details/136603928
本文探讨了CLIP在行人重识别中的应用，提出了使用原型对比学习（PCL）损失直接微调CLIP图像编码器的方法，替代prompt learning。研究显示，这种方法在有监督和无监督的重识别任务中提高了CLIP的表现。PCL损失通过使实例靠近其类质心并远离其他质心，促进了区分不同类别的学习。文章还介绍了包含记忆库的模型框架，用于存储每个ID的视觉特征质心。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介这也是关于CLIP的一篇用于目标重识别的文章，是以前面写过的一篇CLIP-ReID文章为基础进行的工作，主要是替换掉了text encoder，用一个Memory机制来代替了，只有一阶段。包含了行人重识别，也是基于图像的，个人认为作为拓展还是可以学学
预备知识：CLIP-ReID、prompt learning、prototypical contrastive learning(PCL)

论文作者：Jiachen Li,Xiaojin Gong
作者单位：College of Information Science and Electronic Engineering, Zhejiang University
paper：https://arxiv.org/abs/2310.17218v1
code：https://github.com/RikoLi/PCL-CLIP

ps：这边建议先熟悉一下这个博客：《CLIP-ReID Exploiting Vision-Language Model for Image Re-identification without Concrete Text Label》之后再来看这篇文章。咳咳，进入正题

一、Motivation

  • CLIP模型展现的优越性能，能够学习多种视觉和语言语义概念，并获得显著的迁移能力； 提示学习因其优越的性能和较低的计算成本而受到广泛的关注。
  • 在人员/车辆再识别中，类名不存在，因为类标签是ID的索引，缺乏语义信息。
  • CLIP-ReID中的提示学习本质上是为每个ID学习一个文本特征质心（如下图a）；并且CLIP-ReID中引入的图像到文本
最低0.47元/天 解锁文章

200万优质内容无限畅学
《论文阅读》Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation
MyHeartWillGoOn
11-11 1312
在对话中捕捉情绪在现代对话系统中起着至关重要的作用。然而，情绪和语义之间的弱相关性给对话中的情绪识别（ERC）带来了许多挑战。即使是语义相似的话语，情绪也可能因上下文或说话者而发生巨大变化。在本文中，我们为 ERC 任务提出了监督原型对比学习 (SPCL) 损失。利用原型网络，SPCL 旨在通过对比学习解决不平衡分类问题，并且不需要大批量。同时，我们设计了一个基于类别距离的难度测量函数，并引入课程学习来缓解极端样本的影响。我们在三个广泛使用的基准上取得了最先进的结果。
PCL :实现平面裁剪器PlaneClipper3D的使用（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
09-24 318
PCL :实现平面裁剪器PlaneClipper3D的使用（附完整源码）
21-ICLR-Prototypical Contrastive Learning of Unsupervised Representations
BLvren_的博客
12-10 2339
对比学习 PCL（Prototypical Contrastive Learning）对比学习摘要Motivation实现 摘要 本文提出了原型对比学习，连接了对比学习和聚类的无监督表示学习方法。PCL不仅仅学习实例区分额任务的低阶特征，更重要的是它通过聚类到特征空间来编码了语义结构信息。具体地，我们引入原型作为隐形变量来帮助寻找模型参数的最大似然估计在一个EM框架下。迭代地进行E-step: 通过聚类寻找原型的分布，M-step：通过对比学习最优网络参数。提出了ProtoNCE loss, 使得表示更
基于原型对比学习的CLIP微调方法用于目标重识别
Together_CZ的博客
11-27 1154
Prototypical Contrastive Learning-based CLIP Fine-tuning for Object Re-identification 基于原型对比学习的CLIP微调方法用于目标重识别
《PROTOTYPICAL CONTRASTIVE LEARNING OF UNSUPERVISED REPRESENTATIONS》学习笔记
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
12-26 2264
PROTOTYPICAL CONTRASTIVE LEARNING引言方法实验Low-shot classification特征可视化消融实验 引言 本文提出了一种无监督表征学习方法，主要针对对比损失(contrastive loss) 和聚类方法(deep cluster)方法改进，对比损失主要基于噪声对比估计(noise contrastive estimator)，将同分布的embedding 拉近，不同分布的embedding距离推远。这些方法的主要问题是对比损失针对的实例判别任务只需浅层特征就可以
SPCL：Siamese Prototypical Contrastive Learning
qq_45527974的博客
09-08 1146
对比学习前沿论文解析
【ICLR 2021】自监督学习 | Prototypical contrastive learning of unsupervised representations
qq_41977459的博客
03-22 622
这篇文章提出了原型对比学习（PCL），一种最大化可观测数据似然来发现网络参数的通用无监督表示学习框架。PCL将引入的原型作为隐变量，利用基于EM算法的框架执行迭代的聚类和表示学习，并且可以通过对比损失ProtoNCE能够编码数据的语义结构。
【AI视野·今日CV 计算机视觉论文速览 第277期】Fri, 27 Oct 2023
TomRen
11-16 1008
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 27 Oct 2023 Totally 93 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised Video Anomaly Detection Authors Anas Al lahham, Nurbek Tastan, Zaigham Zaheer,
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9259
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
行人重识别、车辆重识别全套代码：CLIP-ReID
03-30
行人重识别、车辆重识别全套代码：CLIP-ReID
Proto-CLIP: Vision-Language Prototypical Network for Few-ShotLearning——用于少样本学习的视觉-语言原型网络
Together_CZ的博客
12-16 1965
Proto-CLIP: Vision-Language Prototypical Network for Few-ShotLearning——用于少样本学习的视觉-语言原型网络
多模态 | Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation论文详解及实现
weixin_44649780的博客
05-12 1080
论文在对话中捕捉情绪在现代对话系统中起着至关重要的作用。然而，情感和语义之间的弱相关性给会话中的情感识别（ERC）带来了许多挑战。即使是语义相似的话语，情绪也可能因上下文或说话者而有很大差异。在本文中，为 ERC 任务提出了监督原型对比学习 (SPCL) 损失。利用原型网络，SPCL 旨在通过对比学习解决不平衡分类问题，并且不需要大批量。同时，我们设计了一个基于班级距离的难度度量函数，引入课程学习来减轻极端样本的影响。论文在三个广泛使用的基准测试中取得了最先进的结果。
【论文阅读】PGCL：Prototypical Graph Contrastive Learning
cziun的博客
08-15 2136
目录摘要1 引言2 相关工作3 准备工作3.1 问题定义3.2 GNN3.3 图对比学习4 PGCL4.1 相关视图的聚类一致性4.2 重加权对比目标5 实验 摘要 之前的对比方法存在一个抽样偏差问题，即负样本很可能与正样本具有相同的语义结构，从而导致性能下降。为了减轻该抽样偏差，本文提出了一种原型图对比学习(PGCL)方法。 具体来说，PGCL通过将语义相似的图聚类到同一组中来对图数据的底层语义结构进行建模，同时鼓励同一图的不同增强的聚类一致性。然后，给定一个正样本，通过从那些与正样本集群不同的集群中提取
基于CLIP视觉语言大模型的行人重识别方法的简单框架设计
max500600的博客
02-07 723
安装必要的库加载CLIP模型定义数据集类提取图像特征进行重识别测试。
多模态——CLIP:Contrastive Language-Image Pre-training解读
知来者逆的博客
12-27 1万+
CLIP作者提出了一种基于对比学习的多模态预训练模型CLIP，该模型打破了传统视觉模型只能在预定义的标签列表中识别这一范式，是一个zero-shot的视觉分类模型，并且预训练的模型在没有微调的情况下，可以在下游任务上取得很好的迁移效果。
自监督模型---PCL
qq_38619449的博客
03-15 6129
论文地址:https://openreview.net/pdf?id=KmykpuSrjcq 开源代码：Prototypical Contrastive Learning of Unsupervised Representations 摘要 原型对比学习(PCL)，一种连接对比学习和聚类的无监督表示学习方法。PCL不仅学习了实例识别任务中的低级特征，更重要的是，它将通过聚类发现的语义结构编码到学习到的嵌入空间中。引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。通过E-st..
【迁移学习】Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation
毛毛的博客
11-25 3695
摘要 无监督域适应(UDA)将预测模型从完全标记的源域转移到无标记的目标域。然而，在某些应用程序中，甚至在源域中收集标签都很昂贵，这使得以前的大多数工作都不切实际。为了解决这个问题，最近的工作执行了基于实例的跨领域自我监督学习，然后是一个额外的微调阶段。然而，实例自监督学习只学习和对齐低层次的判别特征。在本文中，我们提出了一个端到端原型跨域自监督学习(PCS)框架用于小样本无监督域适应(FUDA)。PCS不仅对跨域低级特征对齐，而且对跨域共享嵌入空间中的语义结构进行编码和对齐。我们的框架通过域内原型对比学习
Prototypical networks for few-shot learning论文
最新发布
04-01
### 关于Prototypical Networks for Few-Shot Learning论文 Prototypical Networks 是一种针对小样本学习（Few-Shot Learning）设计的方法，旨在通过构建类别原型来完成新类别的快速识别[^1]。该方法的核心思想是在嵌入空间中为每个类别定义一个原型向量，并利用这些原型向量计算输入样本与各个类别的相似度。 #### 论文下载方式 Prototypical Networks 的原始论文《Prototypical Networks for Few-shot Learning》可以在以下链接找到并下载： - 原始论文地址：[https://arxiv.org/abs/1703.05175](https://arxiv.org/abs/1703.05175) 如果无法直接访问上述链接，可以尝试通过其他学术资源网站获取PDF版本，例如Google Scholar 或者 ResearchGate。此外，一些开源项目也提供了对该论文的解读和实现细节说明[^2][^3]。 #### 可视化的实现 对于可视化部分，作者展示了在嵌入空间中的 t-SNE 图像，其中类别原型用黑色表示，而错误分类的字符则用红色高亮显示[^4]。要实现类似的可视化效果，可以通过以下步骤： 1. **提取嵌入特征** 使用训练好的模型对测试数据进行前向传播，得到每张图像对应的嵌入向量。 2. **应用t-SNE降维** 利用 `sklearn.manifold.TSNE` 将高维嵌入向量投影到二维或三维空间以便绘制图形。 3. **绘图展示** 使用 Matplotlib 或 Seaborn 绘制散点图，在图中标记出不同类别的原型位置以及误分类的数据点。 以下是基于PyTorch实现的一个简单代码示例： ```python import torch from sklearn.manifold import TSNE import matplotlib.pyplot as plt def visualize_embeddings(embeddings, labels, prototypes): """ embeddings: 测试样本的嵌入向量 (NxD) labels: 对应的真实标签 (Nx1) prototypes: 类别原型向量 (KxD) """ all_data = torch.cat([embeddings, prototypes], dim=0).cpu().numpy() tsne = TSNE(n_components=2, random_state=42) embedded_data = tsne.fit_transform(all_data) # 提取样本点和原型点的位置 sample_points = embedded_data[:len(embeddings)] prototype_points = embedded_data[len(embeddings):] # 绘制散点图 plt.figure(figsize=(8, 6)) unique_labels = set(labels.cpu().numpy()) colors = plt.cm.rainbow(np.linspace(0, 1, len(unique_labels))) for i, color in zip(unique_labels, colors): idx = np.where(labels == i)[0] plt.scatter(sample_points[idx, 0], sample_points[idx, 1], c=color, label=f'Class {i}') # 添加原型点标记 plt.scatter(prototype_points[:, 0], prototype_points[:, 1], marker='*', s=200, c='black', label='Prototypes') plt.legend() plt.title('t-SNE Visualization of Embedding Space') plt.show() ``` 此函数接受嵌入向量、真实标签以及类别原型作为输入参数，并生成相应的t-SNE可视化图表。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

反卷三明治

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值