跨模态行人重识别：Cross-Modality Person Re-Identification via Modality Confusionand Center Aggregation笔记

基于模态混淆和中心聚合的跨情态人称再识别

简述

大多数已有的方法都集中在使用身份监督或模态标签来学习模态特定或模态可共享的特征。 与现有方法不同，本文提出了一种新的情态混淆学习网络(MCLNET)。 它的基本思想是混淆两种模态，确保优化明确地集中在模态无关的角度上。 具体来说，MCLNET的设计是通过在单个框架中同时最小化模态间差异和最大化实例间的交叉相似性来学习模态不变特征。 此外，引入了身份感知的边缘中心聚集策略来提取中心特征，同时在边缘约束下保持多样性。 最后，我们设计了一个摄像机感知的学习方案来丰富识别性。 在SYSU-MM01和regdb数据集上进行的大量实验表明，MCLNET的性能大大优于现有技术。 在大规模SYSU-MM01数据集上，模型的RANK-1精度和mAP值分别达到65.40%和61.98%。

贡献

（1） 提出了一种新颖的模态混淆学习网络 (MCLNet)。提取与模态无关的表示形式是一种有效的学习结构，从而增强了学习的表示形式对模态变化的鲁棒性

（2）引入了一种身份感知的边际约束中心聚合策略。它提取集中化特征，同时保持多样性，以获得具有边际约束的更好的泛化能力。

（3）设计了一种相机感知学习方案，该方案应用相机标签监督，通过相机感知表示来丰富可分辨性。

模态混淆学习

         通过最小化了模态间差异，最大化了跨模态相似