Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identification（2020 TIP）

1、问题
解决跨模态行人重识别模态差异问题

2、思想
本文设计了两条路径分别提取可见光图像特征和红外图像特征，考虑到浅层网络提取的特征模态差异较大，没有共享权重，只在高级嵌入层共享权值参数。提出了双向中心限制的top-ranking loss，主要思想是使anchor与正样本的最大距离小于anchor与负样本的最小距离；最后用所有anchor的中心点代替所有anchor来计算双向限制top-ranking loss。

3、方法
本文方法的总体结构如下图所示，每个batch输入K张红外图像和K张可见光图像，经过Dual-Path网络提取特征，在高级嵌入层的一个FC层共享网络权重参数，利用提取的特征计算id loss和ranking loss。

3.1、Dual-Path Network
Dual-Path Network 采用红外图像和可见光图像分成两个路径来提取特征，在特征提取网络中，两条路径是相互独立的，不共享权重参数，在特征嵌入层中，网络学习抽象的特征表示，FC层共享权重参数，此外，网络增加了一个L2正则化层来平滑特征表示。本文采用AlexNet作为backbone提取图像特征。

3.2、Bi-Directional Dual-Constrained Top-Ranking

跨模态相同身份的样本之间的差异要远大于相同模态下不同身份样本之间的差异，因此，对于跨模态的样本，每个batch中的样本应该满足：anchor与正样本之间的距离要小于anchor与负样本之间的距离，因此，跨模态双向限制的Top-ranking loss计算为：

对于模态内的样本，anchor与负样本之间的距离应该大于预设的一个阈值，以保证远离anchor，类似于跨模态的loss，模态内的loss计算为：


3.3、Bi-Directional Center-Constrained Top-Ranking
本文采用anchor中心对中心计算loss来代替anchor对anchor计算loss，因为所有anchor的中心能够很好地代表这一类，只在中心之间计算ranking loss不仅可以减小计算量，还能更好地减小跨模态的差异，鲁棒性更好，anchor中心计算为：

双向中心限制的top-ranking loss计算为：


4、实验及结果