跨模态行人重识别-阅读笔记1《HPILN: A feature learning framework for cross modality person re-identification》

最新推荐文章于 2025-10-27 19:32:34 发布
原创 最新推荐文章于 2025-10-27 19:32:34 发布 · 2.7k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HPILN #跨模态行人重识别 #cross-modality reid #行人重识别 #深度学习

本文介绍了HPILN，一种针对跨模态行人重识别问题的端到端特征学习框架。该框架在SYSU-MM01数据集上表现出高精度，首次尝试将RGB-RGB Re-ID神经网络应用到RGB-IR任务，通过hard pentaplet loss处理模态差异。实验表明，结合identity loss，HPILN能有效提升识别准确性。

 

一.HPILN论文链接

链接1：（最终版已录用）

链接2：（arxiv非最终版）

二.跨模态行人重识别简介


现有的行人重识别研究大部分集中于RGB图像的研究，然而RGB摄像头在黑暗处不能获取清晰图像，现有的摄像头往往集成了RGB摄像头和红外摄像头(IR Camera)的功能于一身，在黑暗处使用红外摄像头获取图像。存在这种情况：嫌疑人在黑暗与亮光处穿行，从而被RGB摄像头和红外摄像头拍摄到，则产生这样的需求：需要判断RGB摄像头拍摄到的行人和红外摄像头拍摄到的行人是否是同一人。2017年，郑伟诗团队公开了首个跨模态行人重识别数据集（SYSU-MM01），以及对应的benchmark。

RGB-IR ReID领域，两年来出现了许多优秀的论文：

最低0.47元/天 解锁文章
2019 IET之ReID：HPILN: a feature learning framework for cross-modality person re-identification
makabaka的博客
02-14 1374
HPILN: a feature learning framework for cross-modality person re-identification 当前的问题及概述： 提出了一种新的特征学习框架：hard pentaplet loss和identity loss network (HPILN),(HPILN)。在该框架中，对现有的单模态再识别模型进行了修正以适应交叉模态场景，并采用专门...
论文阅读23 | A feature learning framework for cross-modality person re-identification
滨哥v5的博客
07-13 600
五元组损失
基于交替中心聚类的无监督跨模态行人重识别(结合学习了聚类和对比学习后新的理解)
最新发布
qq_53110215的博客
10-27 188
过程:“聚类” 为相似样本分配伪标签，再以伪标签为监督信号训练模型；每轮训练后模型特征的判别性提升，会反过来优化下一轮聚类的伪标签质量，形成 “聚类算法：K-均值聚类(K-Means)，DBSCAN(基于密度的聚类)聚类核心思想:让相似的数据点聚在一起，不相似的数据点分开。
跨模态行人重识别研究综述
AI从入门到实践的博客
10-03 7961
跨模态行人重识别研究综述 刘天瑜，刘正熙 摘要：传统的行人重识别主要工作集中在同一模态下的行人重识别上，大部分应用于光源充足的场景。随着视频安防监控要求的不断提升，为了克服可见光摄像头无法全天候进行使用的缺点，能够切换红外模式的摄像头正在普及。针对昼夜光照条件不同的问题，跨模态行人重识别被提出。本文从问题定义、研究现状和性能评价等方面出发，对跨模态行人重识别问题进行介绍。 关键词：跨模态行人重识别；红外图像；深度学习 0 引言 近年来，随着智能监控领域的不断发展，单纯凭借传统的人力已经很难在对复杂的监控场景
跨模态行人重识别
滨哥v5的博客
03-24 1344
跨模态行人重识别交流群 qq739225302 欢迎加入一起探讨交流
跨模态行人重识别：Cross-Modality Person Re-Identification with Generative Adversarial Training 学习记录笔记
weixin_43898295的博客
04-19 1164
目录 摘要 方法 cmGAN Generator Discriminator Training Algorithm Experiments 摘要 （1）提出一种新的跨模态生成对抗网络（称为cmGAN）。为了解决鉴别信息不足的问题，设计了一种基于生成对抗训练的鉴别器，从不同的模式中学习鉴别特征表示。 （2）为了解决大规模跨模态度量学习问题，将id损失和跨模态三元组损失结合起来，在最大化实例间跨模态相似性的同时最小化类间歧义。通过使用标准的深度神经网络框架，可以以端到端的方式对整个c..
跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification
清如的博客
11-23 2365
Hetero-Center Loss for Cross-Modality Person Re-Identification 目录Hetero-Center Loss for Cross-Modality Person Re-IdentificationAbstract1、Introduction2 、Our Approach2.1、问题描述2.2、异质中心损失（Hereo-Center Loss）2.3、双流局部特征网络3 、EXPERIMENTS Abstract 跨模态行人重识别任务可以解决光照不佳环
跨模态行人重识别：Cross-Modality Person Re-Identification viaModality-Aware CollaborativeEnsemble Learning学习笔记
weixin_43898295的博客
11-04 963
两种不同的模态学习两组特定于模态的同一性分类器(θv用于可见模态，θt用于热模态） 给定可见光模态的模态特性分类器θv表示，输入可见光图像xv i的输出logs相应地由zv计算，用softmax函数计算可见光样本xv i被正确识别为模态I的概率PV（Yi xv i）。在教师集成模型的激励下，采用不同分类器输出的集成，为每批中的n个恒等式生成一个增强的教师模型。特定于模态的身份分类器与可共享模态的身份分类器θ0共享相同的结构，但它们分别进行了优化，以在分类器级别捕获不同的特定于模态的信息。
跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification学习记录笔记
weixin_43898295的博客
04-12 3596
原文链接：https://www.sciencedirect.com/science/article/pii/S0925231219318156 目录 摘要 方法 CE loss Hetero-Center Loss Two-Stream Local Feature Network 特征提取 特征嵌入 试验 测试 结果 摘要 （1）提出了一种新的损失函数，称为 Hetero-Center loss (HC loss)，以减少类内跨模态变化，通过约束两个异质模态之间的
跨模态行人重识别：Visible-Infrared Person Re-Identification viaHomogeneous Augmented Tri-Modal Learning学习记录笔记
weixin_43898295的博客
09-22 1299
将RGB模态单独处理得到一个灰度模态，灰度模态作为辅助模态有利于增加RGB和红外模态的关联性，HHI loss 缩小了三个模态之间的距离，reg loss进一步减小了交叉模态之间的变化。
RegDB数据集-跨模态行人重识别
02-16
跨模态行人重识别数据集，可见光和红外图像常用数据集
跨模态行人重识别：Modality Synergy Complement Learning withCascaded Aggregation for Visible-InfraredPerson 笔记
weixin_43898295的博客
10-20 1591
基于级联聚合的模态协同互补学习在可见光-红外人员识别中的应用级联聚合的模态协同互补学习网络(MSCLNET)。基本思想是协同两个模态来不同的身份鉴别语义和较少噪声的表示。然后，在这两种模式的优点下对协同表征进行了补充。此外，提出了级联聚合策略，用于，该策略将子类、类内和类间的特征嵌入进行渐进聚合。传统的硬样本挖掘和特征聚合方法在实例级优化特征嵌入距离。这种粗粒度度量学习忽略了所有实例的综合分布。我们的目标是以级联的方式在不同的层次上进行优化。
跨模态行人重识别：Discover Cross-Modality Nuances for Visible-Infrared Person Re-Identification学习记录笔记
weixin_43898295的博客
05-17 2438
摘要 提出了一种联合模态和模式对齐网络 (MPANet) 来发现可见红外人 Re-ID 不同模式中的跨模态细微差别，它引入了模态缓解模块和模式对齐模块来共同提取判别特征。模态缓解模块以从提取的特征图中去除模态信息。 然后设计了一个模式对齐模块，它为一个人的不同模式生成多个模式图，以发现细微差别。 最后引入了一种相互均值学习方式来缓解模态差异，并提出了一个中心聚类损失来指导身份学习和细微差别发现。 贡献： 为了发现细微差别并提取判别性特征，提出了模式对齐模块 (PAM)，以无监督方式发现...
基于双阶段度量学习的跨模态行人再识别
rytyy的博客
04-16 1388
基于双阶段度量学习的跨模态行人再识别 摘要： 由于从可见光和热成像摄像头采集而来的图像风格迥异，跨模态行人再识别面临着巨大挑战。目前的深度学习方法，大都利用度量学习来获取区分性特征。然而，现有的度量学习是基于批处理样本执行的，解决方案是局部最优，因此并不尽如人意。为了实现全局性学习，我们提出了一种双阶段度量学习的手段（TML），成功实现局部和全局的度量学习。在第一阶段，通过在小批量上利用三元组...
跨模态行人重识别：Cross-Modality Person Re-Identification via Modality Confusionand Center Aggregation笔记
weixin_43898295的博客
11-03 981
对于每个样本图像xi，都有 σ 一个身份标签yi，一个真实的模态标签ti和一个混淆的模态标签oi，对于每个输入样本xi，真实模态标签ti对于可见图像被设置为 [1,0]，对于红外图像被设置为 [0,1]。在等式的右侧，第一项中的第一元素是中心损耗的一般形式，其表示图3 (a) 和 (b) 中的外圆 (灰色) 约束。应用约束余量 σ 以确保属于同一类的样本不太靠近中心，防止特征过度拟合到特征中心，以适度保持身份描述的多样性，即使在不同的模式下也是如此。特征提取器的目的是提取模态不变和区分性的特征。
跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification（2017 ICCV）
清如的博客
10-13 4816
RGB-Infrared Cross-Modality Person Re-Identification 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录RGB-Infrared Cross-Modality Person Re-IdentificationAbstract一、Introduction二、SYSU-MM01三、跨模态网络比较四、结论
跨模态行人重识别cm-SSFT：Cross-modality Person re-identification with Shared-Specific Feature Transfer 学习笔记
weixin_43898295的博客
06-30 1331
在本文中，我们通过提出一种新的跨模态共享特定特征转移算法（称为 cm-SSFT）来解决上述限制，以探索模态共享信息和模态特定特征的潜力。我们对亲和力进行建模根据共享特征对不同模态样本进行分类，然后在模态之间和跨模态传输共享特征和特定特征。我们还提出了一种互补的特征学习策略，包括模态适应、项目对抗学习和重建增强，以分别学习每种模态的判别性和互补性共享特征和特定特征。整个 cm-SSFT 算法可以端到端的方式进行训练。 模态共享特征学习方法放弃了许多有用的特定线索，因为无法从其他模态中提取模态特
跨模态行人重识别：CM-NAS: Cross-Modality Neural Architecture Searchfor Visible-Infrared Person Re-Iden学习记录笔记
weixin_43898295的博客
06-30 1003
目录摘要方法 试验 系统地研究了手动设计的架构，并确定适当地分离批标准化 (BN) 层是极大推动跨模态匹配的关键。基于这一观察，基本目标是为每个 BN 层找到最佳分离方案。提出了一种新方法，称为跨模态神经架构搜索（CMNAS）。它由一个面向 BN 的搜索空间组成，其中标准优化可以通过跨模态任务来完成。 讨论： （1）仅在块中分离BN层优于分离整个块； (2) 分离两个BN层块通常优于分离单个BN层。考虑到这些我们得出一个结论，适当分离所有 BN 层是极大推动跨模态匹配的关键。Ne
跨模态行人重识别：Visible-Infrared Person Re-identification using Cross-Modal Correspondences学习记录笔记
weixin_43898295的博客
09-28 1092
现成的对象检测器裁剪的人物图像不一定是对齐的，这会分散有辨别力的人物表示学习。一种新颖的特征学习框架，以统一的方式解决这些问题。利用跨模态人物图像之间的密集对应关系，解决像素级的跨模态差异，更有效地抑制人物表示中与模态相关的特征，也鼓励了跨模态局部特征之间的像素关联。RGB 和 IR 图像的未对齐特征对处理跨模态差异有不利影响，会分散学习人员的表示。方法励鼓励RGB 图像的人物表征从具有相同身份的 IR 图像中重建那些表征。
Infrared-Visible Cross-Modal Person Re-Identification with an X Modality复现
12-27
### 关于红外-可见光跨模态行人重识别中的X模态实现 #### X模态生成器的设计原理 针对红外-可见光跨模态行人重识别(Infrared-Visible Cross-Modal Person Re-ID, IV-ReID)，一种创新的方法引入了辅助的中间模态X来缓解因不同成像条件造成的显著域间差距。具体来说，X模态是由一个基于自监督学习设计的轻量化神经网络产生的，旨在捕捉并转换来自可见光(V)模态的关键视觉特征到一个新的表达形式中[^1]。 #### 实现细节 这个过程涉及到了一系列精心设计的操作： - **双层1x1卷积结构**：首先利用一对连续的1x1大小的卷积核处理原始的三通道彩色图片数据；前者负责降维至单一灰度级别，后者则再次扩展回三维空间以便后续操作。 - **非线性变换**：紧接着上述步骤之后加入了一个ReLU函数作为激活单元，赋予模型更强的数据拟合能力和更丰富的内部表征层次[^5]。 ```python import torch.nn as nn class XModerator(nn.Module): def __init__(self): super(XModerator, self).__init__() self.conv1 = nn.Conv2d(3, 1, kernel_size=1) self.relu = nn.ReLU() self.conv2 = nn.Conv2d(1, 3, kernel_size=1) def forward(self, x): out = self.conv1(x) out = self.relu(out) out = self.conv2(out) return out ``` #### 特征提取与融合策略 为了有效地关联起原本相异甚远的两种传感模式下的观测对象，提出了共享权重机制下的多分支架构来进行联合训练。即让同一套参数同时作用于RGB、X及IR三种类型的样本之上，在统一的空间内完成身份判别任务的同时也促进了彼此之间潜在联系的学习[^4]。 #### 损失函数构建 考虑到实际应用场景中存在的类别不平衡现象以及目标检测难度不均等问题，采用了改进版Triplet Loss——Cross Modal Grouping (CMG) loss Lc ，它不仅能够拉近同类个体间的距离分布，还能有效拉开异类实例之间的间隔，进而提升整体辨识精度。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值