Cross-modality Person re-identification with Shared-Specific Feature Transfer

最新推荐文章于 2022-11-24 23:19:20 发布
原创 最新推荐文章于 2022-11-24 23:19:20 发布 · 485 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

题目：Cross-modality Person re-identification with Shared-Specific Feature Transfer
作者：Yan Lu

一、研究动机
现有的方法大多是将不同模态的特征映射到同一个特征空间，但是这种方法会降低特征的鉴别性。

二、研究目标
提出“跨模态共享-特有特征转换算法”（cm-SSFT），来探究模态共享信息和模态特定特征的识别潜力。
（1）根据共享特征来建模不同模态样本之间的相似性。
（2）在模态内和模态间传输共享特征以及特定特征。
（3）提出互补特征学习策略（包含模态适应，映射对抗学习和重建增强），以学习每个模态的鉴别性、互补性的共享特征和特定特征。

三、技术路线
在这里插入图片描述
以往的方法会丢弃大量重要的特定特征，因为这些特征不能从其他模态中提取。因此，本文试图引入基于近邻相似性建模的特定模态特征，来有效利用每个样本的共享和特定信息。
在这里插入图片描述

  1. Two-stream feature extractor
    提取特征
    在这里插入图片描述
    分类损失约束

最低0.47元/天 解锁文章
论文阅读17 | Cross-modality Person re-identification with Shared-Specific Feature Transfer
滨哥v5的博客
06-19 1546
Shared-Specific Feature Transfer
Cross-modality Person re-identification with Shared-Specific Feature Transfer——论文周报
Lei的博客
07-16 1305
文章目录1 标题2 概述3 创新点4 算法及实验4.1 模型及算法双流特征提取器(Two-stream feature extractor)共有-特有转移网络(Shared-Specific Transfer Network,SSTN)①亲和力模型(Affinity modeling)②共享和特定信息的传播共有-特有互补学习(Shared and specific complementary learning)①共享特征的模态自适应②特定特征的投影对抗学习③重建增强优化4.2 实验5 心得 1 标题   C
跨模态行人重识别研究综述
AI从入门到实践的博客
10-03 7982
跨模态行人重识别研究综述 刘天瑜，刘正熙 摘要：传统的行人重识别主要工作集中在同一模态下的行人重识别上，大部分应用于光源充足的场景。随着视频安防监控要求的不断提升，为了克服可见光摄像头无法全天候进行使用的缺点，能够切换红外模式的摄像头正在普及。针对昼夜光照条件不同的问题，跨模态行人重识别被提出。本文从问题定义、研究现状和性能评价等方面出发，对跨模态行人重识别问题进行介绍。 关键词：跨模态行人重识别；红外图像；深度学习 0 引言 近年来，随着智能监控领域的不断发展，单纯凭借传统的人力已经很难在对复杂的监控场景
Cross-modality Person re-identification with Shared-Specific Feature Transfer—2020CVPR，逐句分析
JJxiao520的博客
11-24 628
基于特定特征转移学习的跨模态行人重识别论文分析，欢迎大家指正学习。
Cross-modality Person re-identification with Shared-Specific Feature Transfer阅读笔记
qq_36167072的博客
03-24 896
Paper：https://arxiv.org/pdf/2002.12489.pdf Code：没找到 摘要：跨模态ReID(cm-ReID)技术是智能视频分析的关键技术之一。现有的研究主要集中在通过将不同模态的特征嵌入到同一个特征空间中和降低特征区分度的上界来学习模态共享特征表示。在本文中，我们提出一种新的跨模态共享-特定特征转移算法(cm-SSFT)来解决上述方法的局限性，以探索模态共享信...
CVPR 2020之ReID：Cross-modality Person re-identification with Shared-Specific Feature Transfer
makabaka的博客
03-08 5995
Cross-modality Person re-identification with Shared-Specific Feature Transfer 当前的问题及概述： 现有的研究主要集中在通过将不同的模态嵌入到同一个特征空间中来学习共同的表达。然而，只学习共同特征意味着巨大的信息损失，降低了特征的差异性。 在本文中，提出了一种新的跨模态共享特征转移算法(cm-SSFT)来解决上述问题，以探...
论文阅读之Cross-modality Person re-identification with Shared-Specific Feature Transfer(上)
rytyy的博客
04-05 2292
该篇文章发表于CVPR2020，作者信息如下：
行人重识别阅读笔记之Cross-modality Person re-identification with Shared-Specific Feature Transfer
weixin_51138870的博客
12-08 1054
行人重识别阅读笔记之Cross-modality Person re-identification with Shared-Specific Feature Transfer摘要介绍模型Two-stream feature extractorShared-Specific Transfer NetworkShared and specific complementary learningOptimization 论文地址:Cross-modality Person re-identification wit
Cross-modality Person re-identification with Shared-Specific Feature Transfer笔记
baidu_41622980的博客
08-31 506
论文：Cross-modality Person re-identification with Shared-Specific Feature Transfer 来源：CVPR 2020 地址：https://arxiv.org/abs/2002.12489 动机：对于跨模态行人重识别任务，以往都只关注两个模态间的共享特征（share feature），而忽略了每个模态的Specific feature,作者通过利用每个模态的specific feature提高跨模态reid的性能。具体思路为：给定一红外线qu
跨模态行人重识别cm-SSFT：Cross-modality Person re-identification with Shared-Specific Feature Transfer 学习笔记
weixin_43898295的博客
06-30 1338
在本文中，我们通过提出一种新的跨模态共享特定特征转移算法（称为 cm-SSFT）来解决上述限制，以探索模态共享信息和模态特定特征的潜力。我们对亲和力进行建模根据共享特征对不同模态样本进行分类，然后在模态之间和跨模态传输共享特征和特定特征。我们还提出了一种互补的特征学习策略，包括模态适应、项目对抗学习和重建增强，以分别学习每种模态的判别性和互补性共享特征和特定特征。整个 cm-SSFT 算法可以端到端的方式进行训练。 模态共享特征学习方法放弃了许多有用的特定线索，因为无法从其他模态中提取模态特
《Cross-modality Person re-identification with Shared-Specific Feature Transfer Yan》论文学习
uestc_huhu的博客
04-01 469
Abstract Cross-modality person re-identification (cm-ReID) 现有的研究主要集中在学习模态——共享表示，通过将不同的模态嵌入到同一个特征空间中，降低特征差异的上界。本文提出了一种新的cross-modality shared- specific feature transfer algorithm((termed cm-SSFT),以探索模态共享信息和模态特定特征的潜力，以提高再识别性能。我们根据共享的特征对不同模态样本的亲和力进行建模，然后在模态之间
Cross-Modality Person Re-Identification with Generative Adversarial Training
weixin_42881607的博客
07-01 1589
paper 摘要 行人重识别是视频监控系统中的一项重要任务，它可以自动搜索和识别不同摄像机上的人。尽管在RGB相机中已经取得了广泛的REID进展，但研究红外图像和RGB图像之间的REID的工作却很少，这本质上是一个交叉模态问题，在现实场景中广泛遇到。关键的挑战在于两个方面，即缺乏识别信息来在RGB和红外成像设备之间重新识别同一个人，以及难以学习这种大规模交叉成像设备检索的强大指标。在本文中，我们通...
CVPR 2020 Oral 出炉！5篇 Oral 论文抢先看
3D视觉工坊
03-15 4465
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达转载自：极市平台在2月24日，CVPR 2020 公布接收论文结果公布，从 6656 篇有效投稿中...
共享与特定于域的跨模态论文
qq_36744148的博客
06-09 589
共享与特定于域特征结合的跨模态人员再识别论——Cross-modality Person re-identification with Shared-Specific Feature Transfer 智能视频监控中，面临着很大的监控挑战：如果白天还能够让摄像头清晰地捕捉到行人信息并且进行有效识别的话，那么晚上由于缺少光照，摄像头捕捉不到丰富的彩色信息，在这种情况下，夜晚的行人再识别就显得没有那么有效了。 一种跨越白天和黑夜的两种摄像头——RGB摄像头和IR摄像头监控方式逐渐兴起。很多摄像头也具有自动转换R
2018 IJCAI之ReID：Cross-Modality Person Re-Identification with Generative Adversarial Training
makabaka的博客
01-30 1087
Cross-Modality Person Re-Identification with Generative Adversarial Training 目前的问题： 当前，面对这种跨模态问题，主要有两个困难： 1.RGB和红外模式之间缺乏识别同一人的区别信息 2.很难为这种大规模的交叉模式检索学习稳健的度量 为了解决识别信息不足的问题，本文设计了一种基于前沿生成对抗训练的鉴别器来学习不同模式下的...
Cross-Modality Person Re-Identification with Generative Adversarial Training--阅读
WJ_MeiMei的博客
01-08 2071
论文链接，点击此处 提出背景 真实场景少 夜晚监控当中的红外场景 实验结果 CMC 12.17% mAP 11.85% 数据集 SYSU :6个camera 1个exp标签 分别对应论文 cam1 --room1(indoor) cam2–room2(indoor) cam3–room2(indoor)–红外的 cam4–Gate cam5-- Garden cam6–passage 论文...
跨模态ReID论文总结2：CNN提取特征论文（长期更新）
makabaka的博客
03-06 5047
本部分占所有跨模态ReID的绝大部分论文的思路，基本思路是通过two-stream网络分别提取两个模态图像的特征，CNN前几层提取specifc feature ，后几层通过权重共享提取common feature ，在通过度量学习或者进一步的特征提取分别对specific feature和common feature进行进一步处理，最后通过ranking loss缩小同类别的距离，扩大不同类别的...
CVPR2020行人重识别论文
weixin_42881607的博客
06-11 1358
1、Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking paper 2、Inter-Task Association Critic for Cross-Resolution Person Re-Identification paper 3、Learning Multi-Granular Hypergraphs for Video-
纯干货：深度学习实现之空间变换网络-part2
qq_40954115的博客
04-12 953
原文链接：点击打开链接摘要： 本文详细介绍了空间变换网络及其工作原理，最后将整个机制归结为两个熟悉的概念：仿射变换和双线性插值。        纯干货：深度学习实现之空间变换网络-part1在第一部分中，我们主要介绍了两个非常重要的概念：仿射变换和双线性插值，并了解到这两个概念对于理解空间变换网络（ Spatial Transformer Networks ）非常重要。在这篇文章中，我们将详细介绍...
Infrared-Visible Cross-Modal Person Re-Identification with an X Modality复现
最新发布
12-27
### 关于红外-可见光跨模态行人重识别中的X模态实现 #### X模态生成器的设计原理 针对红外-可见光跨模态行人重识别(Infrared-Visible Cross-Modal Person Re-ID, IV-ReID)，一种创新的方法引入了辅助的中间模态X来缓解因不同成像条件造成的显著域间差距。具体来说，X模态是由一个基于自监督学习设计的轻量化神经网络产生的，旨在捕捉并转换来自可见光(V)模态的关键视觉特征到一个新的表达形式中[^1]。 #### 实现细节 这个过程涉及到了一系列精心设计的操作： - **双层1x1卷积结构**：首先利用一对连续的1x1大小的卷积核处理原始的三通道彩色图片数据；前者负责降维至单一灰度级别，后者则再次扩展回三维空间以便后续操作。 - **非线性变换**：紧接着上述步骤之后加入了一个ReLU函数作为激活单元，赋予模型更强的数据拟合能力和更丰富的内部表征层次[^5]。 ```python import torch.nn as nn class XModerator(nn.Module): def __init__(self): super(XModerator, self).__init__() self.conv1 = nn.Conv2d(3, 1, kernel_size=1) self.relu = nn.ReLU() self.conv2 = nn.Conv2d(1, 3, kernel_size=1) def forward(self, x): out = self.conv1(x) out = self.relu(out) out = self.conv2(out) return out ``` #### 特征提取与融合策略 为了有效地关联起原本相异甚远的两种传感模式下的观测对象，提出了共享权重机制下的多分支架构来进行联合训练。即让同一套参数同时作用于RGB、X及IR三种类型的样本之上，在统一的空间内完成身份判别任务的同时也促进了彼此之间潜在联系的学习[^4]。 #### 损失函数构建 考虑到实际应用场景中存在的类别不平衡现象以及目标检测难度不均等问题，采用了改进版Triplet Loss——Cross Modal Grouping (CMG) loss Lc ，它不仅能够拉近同类个体间的距离分布，还能有效拉开异类实例之间的间隔，进而提升整体辨识精度。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值