16DMA: Dual Modality-Aware Alignment for Visible-Infrared Person Re-Identification

DMA: Dual Modality-Aware Alignment for Visible-Infrared Person Re-Identification

双模态感知对准用于可见红外人的重新识别

期刊：IEEE TRANSACTIONS ON INFORMA TION FORENSICS AND SECURITY , VOL. 19, 2024
CCF-A类，中科院一区
代码地址：https://github.com/PKU-ICST-MIPL/DMA_TIFS2023
代码仍在组织中

对于提取人的身份信息常用方法：
1.将可见光图像转换为灰度颜色空间，并将其映射到红外域。
2.将红外图像叠加到RGB色彩空间，映射到可见域。（出现问题：1.可见波和红外波的波长、频率和辐射特性几乎不一致。2.可见光谱包含允许感知丰富颜色信息的较短波长，而红外光谱表现出有限的色调多样性。此外，红外光谱包含较长的波长，并且对人体发出的热辐射敏感，而可见光谱不传达热辐射信息。）
问题：信息不对称，存在模态差异

补充：
目的：在信息对称域中实现可见光和红外光的对齐，需要寻找一种合适的颜色空间来消除交叉模态差异。
现有对齐方法：
1.全局级方法,往往存在边缘模糊和纹理细节无法恢复的问题，同时会造成辐射多样性。
2.局部级方法,通常会通过破坏最具鉴别力的模态公共信息，例如通过随机化图像块，身体形状，我们将其称为局部内信息.

思路：

通过找到共同建模可见光的颜色信息和红外波的辐射强度的颜色空间，跨模态对齐促进模态差异的自适应能力。它有助于缓解跨模态的信息不对称，从本质上有助于减少模态差异。
做法：关注不同色彩空间的本质。HSV颜色空间基于颜色的色调、饱和度和明度分量来表示颜色。与RGB颜色空间相比，提供了更直观的颜色表示。在HSV颜色空间中，H和S通道可以用来描述可见光的颜色信息，而V通道可以用来表征热辐射强度。基于上述观察，我们认为，补偿HSV空间内的两个模态的不对称性是有效地减轻跨模态差异的关键。此外，为了解决数据级对齐和补偿引起的潜在信息损坏，应该设计细粒度的局部一致性约束来提高跨模态类内一致性。所以提出创新123

创新

1.双模态感知对齐模块(DMA),在统一的方案中保留区别身份信息并抑制误导信息.
2.针对两模态的光学特性，提出双模态转换(DMT)模块,将可见光图像和红外图像转换为HSV色彩空间，并根据两种模态的内在特征进行对齐。以增强DMA对可见光图像和红外图像的自适应能力，减少HSV颜色空间中的跨模态差异，有效地保留了基于两种模态固有特征的判别信息，用于对HSV色彩空间中的信息不对称进行补偿，以缓解跨模态差异，更好保留区别性身份特征。
3.针对抑制误导信息和探索模态共同特征，提出局部对齐(IA)模型，引入一个基于局部中心的目标函数。有效地探索了两种模态的模态共同局部内特征。

网络框架

思路：出了一个双模态传输模块，在HSV颜色空间中的固有特性的基础上进行本地级增强，并保留了完整的判别信息。
做法：共同建模可见光的颜色信息和红外波的辐射强度来识别一个颜色空间，对模态差异的适应能力来促进跨模态对齐。

图解：我们提出的双模态感知对齐（DMA）模型的框架。提出了双模态传输（DMT）模块，以基于两种模态的固有特性在HSV颜色空间中执行局部级数据对齐，从而保持判别信息的完整性。然后，局部内对齐（IA）模块计算给定对齐图像的基于局部内特征的距离，以探索模态公共特征。
给定输入图像x，DMA将来自两种模态的x嵌入到同一特征空间，并基于全局平均池化（GAP）和批量归一化（BN）生成深度嵌入v∈Rd，其中d表示特征维度的数量。识别损失Lid和度量损失Lme，包括欧几里得约束和KL发散约束，用于优化骨干网络。通过最小化上述目标函数，DMA可以初步保留鉴别身份特征。
DMA双模态感知对齐模块
令x-v∈V，x-r∈R，分别表示可见光图像和红外光图像，y-v∈Y-v，y-r∈Y-r分别表示地面真实身份标签。目标是对于给定人物图像q-v，q-r在图库g-r(g-v)中的图像相似度来匹配同一人物。首先将可见光图像和红外图像输入DMT模块中以生成对齐图像，然后，