High-Order Structure Based Middle-Feature Learning for Visible-Infrared Person Re-identification

High-Order Structure Based Middle-Feature Learning for Visible-Infrared Person Re-identification
基于高阶结构的中特征学习的可见-红外人物再识别
2023 AAAI CCF-A 中科院二区
代码地址：https://github.com/Jaulaucoeng/HOS-Net

针对问题：
1.忽略特征的高阶结构信息
2.VIS与IR图像模态差异大，难以学习到合理的公共特征空间

摘要
我们提出了一种新的基于高阶结构的中间特征学习网络(HOS-Net)，用于有效的VI-ReID。具体地说，
1.我们首先利用一个短期和长期特征提取(SLE)模块来有效地利用短期和长期特征。
2.然后，我们提出了一个基于白化超图网络的高阶结构学习(HSL)模块，成功地建立了每个人图像不同局部特征之间的高阶关系模型。这大大减轻了模型崩溃，增强了特征表示。
3.最后，我们开发了一个公共特征空间学习(CFL)模块，该模块通过对不同模态和范围的特征进行对齐生成的中间特征来学习一个判别合理的公共特征空间。特别是，提出了模态范围身份中心对比(mric)损失，以减少VIS, IR和中间特征之间的距离，使训练过程更加平滑。

新颖之处在于利用高阶结构信息和中间特征学习判别合理的公共特征空间，极大地缓解了模态差异。

short-range近程 long-range长程 high -order高阶 hypergraph超图
whitened-白化（是对数据进行白化处理，这是一种数据预处理技术。白化处理的目的是通过线性变换使数据特征之间的相关性降低，从而使数据在统计学意义上更加独立和均匀分布）
超图（是一种图论概念，用于表示复杂的关系结构，节点代表数据点或特征，边表示它们之间的关联或依赖关系。通常用于建模数据之间的非线性关系）

网络框架

采用双流AGW作为骨干，给定一个VIS-IR图像对，将其通过骨干得到配对的VIS-IR特征，将这些特征输入SLE模块(由一个卷积分支和一个Transformer分支组成)学习每种模态的短程和远程特征。11111111第2页 然后，HSL模块基于白化的超图模型，对近程和长程特征的依赖关系进行建模。最后，CFL模块通过生成和利用中间特征来学习公共特征空间。在CFL模块中，我们不是直接添加或连接来自不同模态和范围的特征，而是利用图注意力来适当地对齐这些特征，从而获得中间特征。在此基础上，进行了情态范围的身份中心对比。基于此，开发了一种模态范围身份中心对比（MRIC）损失，以减少可见光（VIS）、红外（IR）和中间特征之间的距离，从而平滑学习共同特征空间的过程。