05-面向可见-红外人物再识别的同质模态学习和多粒度信息挖掘

面向可见-红外人物再识别的同质模态学习和多粒度信息挖掘

Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification
发表期刊：IEEE J. Sel. Top. Signal Process.
中科院一区
无代码

文章背景
之前针对模态差异的方法：
1.将异构图像嵌入到共享特征空间中，从而使用特征级约束来对齐特征分布。
缺点：基于特征优化的模型往往受到同构特征空间的限制，对于异构图像，它总是一个次优问题。
2.图像合成方法：利用生成对抗网络(gan)作为样式转换器来生成多光谱图像
缺点：产生低质量的合成图，在学习过程中引入原始数据和合成数据之间的新差距，从而破坏训练过程。
生成对抗网络(GAN)来生成模态一致的数据。但是产生了次优特征表示问题。即可见域和红外域之间存在严重的颜色差异，生成的伪交叉模态样本往往不能很好地填补合成场景与目标真实场景之间的模态差距，从而导致次优特征表示。

解决方法：对齐灰度模态(AGM)
1.齐灰度模态(AGM)：这是一种统一的暗线光谱，将可见-红外双模学习重新表述为灰-灰单模学习问题。具体地说，我们从均匀的可见光图像中生成灰度模态。然后，我们训练了一种风格迁移模型，将红外图像转换成均匀的灰度图像。这样，在图像空间中，模态差异显著降低。
理解：可见光图像→灰度图像，红外图像→灰度图像(风格迁移模型)
2.多粒度特征提取网络来进行特征级对齐。我们建议利用局部(头肩)特征来辅助人员Re-ID，而不是依赖全局信息，两者相辅相成，形成更强的特征描述符。

思路：存在高保真的共享图像空间，使不同的模态信息被平等对待→消除空间中人的外表差异→探索两种模态之间的相关性→制定统一的光谱来提高特征分布的相似性(即提出的AGM)可见光变灰度图像，红外图像变灰度图像。

创新：
1.创建了一个统一的中间模态图像空间(AGM)来嵌入均匀模态信息，从而建立了可见光和红外域之间的连接。
2.灰度归一化(GN),抑制红外图像的亮度变化，进一步缓解模态差异。
3.人员Re-ID匹配，通过头肩部描述。
4.闭环交互正则化的同步学习策略(SLS)，促使网络获得更多判别特征以进行正确分类。

专业词汇：Homogeneous Modality同质模态 Multi-Granularity多粒度 end-to-end端到端 Finer-granularity Information精细粒度信息

网络框架

AGM
红外图像中使用CycleGAN消除亮度差距

特征级对齐
利用头肩信息来辅助全局特征。
本文设计了两流级联结构来编码细粒度(头肩)和粗粒度(全局)外观信息，然后，我们将两种类型的特征连接起来以生成最终的人表示，并将监督损失反向传播到所有特定分支和联合分支。

同步学习策略(SLS)
作用：确保不同分支的协同相关特征学习。
方式：通过施加闭环跨分支交互正则化，显式地优化了跨粒度的潜在互补优势。