论文阅读30 | Deep Multi-Patch Matching Network for Visible Thermal Person Re-Identification

论文：Deep Multi-Patch Matching Network for Visible Thermal Person Re-Identification

出处：IEEE TMM 2020

1.创新点

本文的创新点在于，将特征图水平分割成不同数量的水平条纹，学习粗粒度和细粒度的特征。对每个水平条纹计算三元组损失、模态对齐损失、多个条纹之间的关系损失。最后，根据每个条纹的三元组三重误差，对每个条纹损失进行加权求和，优先优化困难的条纹。在计算模态对齐损失时，加入FC层当作模态对准器，寻找模态差异最大的子空间，在子空间内减小模态差异，通过最小最大策略优化主干网络和模态对准器。在条纹关系损失中，考虑到相同图像对在不同条纹中差异度相似、相同ID图像对比不同ID图像对的差异度小两个关系，很好的对各条纹进行了互补。

2.网络框架

本文提出了一个多补丁匹配网络（MPMN），来学习跨模态图像的粗粒度和细粒度的视觉语义信息。网络主要包括两个学习模块，resnet50的一些残差块、多补丁平均池化（MPAP）。MPAP通过将特征图分成不同数量的水平条纹，来学习多粒度的补丁特性。

首先，由于可见图像和热图像有不同的颜色通道，我们将它们都转换为具有单一通道的灰色图像。由于预训练模型是在三通道上训练的，所以把灰色图像的通道复制为三个通道。

将图像经过resnet50提取特征，将提取出的特征F划分为g个水平条纹，g从1到G变换，可以挖掘粗粒度和细粒度的视觉语义。

然后用传统的全局平均池(GAP)分别映射为g个局部特征向量，那么会得到N=G(G+1)/2个特征向量。所有的特征向量都