论文:Unsupervised Person Re-identification via Multi-label Classificationhttps://arxiv.org/pdf/2004.09228.pdf
年份:2020-CVPR
本文的许多工作和参数有关,这篇文章的参数设置要看
文章目录
1.简介
无监督人重新识别(ReID)的挑战在于学习没有真实标签的discriminative features(鉴别特征)。本文将无监督行人重识别公式化为多标签分类任务,以逐步寻找真实标签。
- 该方法首先为每个人的图像分配一个单一类别的标签,
- 然后通过利用更新的ReID模型进行标签预测并进行多标签分类。
标签预测包括相似度计算和循环一致性,以确保预测标签的质量。为了提高ReID模型在多标签分类中的训练效率,进一步提出了基于 memory的多标签分类损失(MMCL).MMCL与基于 memory的非参数分类器一起使用,并将多标签分类和单标签分类相结合在一个统一的框架中。该标签预测和MMCL可以反复工作,从而大大提高ReID的性能。在几个大型Person ReID数据集上进行的实验证明了我们的方法在无人监督Person ReID中的优越性。我们的方法还允许在其他域中使用带标签的Person图像。在 transfer learning (迁移学习)设置下,我们的方法还可以实现最先进的性能。
2.导言
-
先前工作的缺陷
无监督的Person ReID 旨在从未标记的行人图像中学习鉴别特征。与监督学习 相比,无监督学习免除了对昂贵的数据标记的要求,从而更好的推动Person ReID面向实际应用。
无监督Person ReID 的挑战在于学习没有真正标签的鉴别特征。最近,大多数工作将无监Person ReID 定义为一个 transfer learning task(迁移学习任务),利用其他域上的标记数据对模型进行初始化或标签迁移。(一些研究工作为每个图像分配一个单一类别标签.另一些则利用时空线索或附加属性注释)但在监督和无监督的Person ReID之间仍然存在相当大的差距。同时,迁移学习的设置导致网络模型的灵活性有限。 -
本文方法解决的问题
本文的目标是-
在不利用任何标记数据的情况下提高无监督的Person ReID 。
将每个未标记的行人图像视为一个类,并训练 ReID 模型,以使用多类标签分配给每个图像。 换句话说,训练 ReID 模型,将每个图像分类为属于同一ID的多个类。 由于每个人通常有多个图像,多标签分类有效地识别相同身份的图像,并将图像与不同ID的图片区分开。这有利于 ReID 模型优化类间和类内距离。与以往将每幅图像分类为单个类的方法相比,多标签分类具有更好的效率和准确性
-
该方法迭代地预测多类标签,并以多标签分类损失更新网络。
a. 为了保证预测标签的质量,提出了基于memory的正标签预测(MPLP),它考虑了标签预测的视觉相似性和循环一致性。也就是说,如果两个图像:
(a) 具有很大的相似性,
(b)具有相似的邻居,
则用相同的标签标记两个图像。为了进一步保证标签预测的准确性,MPLP利用存储在memory中的图像特征,在每次训练迭代后使用增强的特征(augmented features)对其进行更新,以提高特征的鲁棒性。b. 为得到一个好的分类器和解决传统多标签分类损失中梯度弥散问题,提出基于memory多标签分类损失(MMCL)。
预测标签允许带有多标签分类损失的CNN训练。 由于每个图像都被视为一个类,因此大量的类使得很难训练到一个像完全连接(F C)层这样的分类器。 如图1所示。 采用存储在memory中的每个图像的特征作为分类器。具体地, 介绍了一种基于memory多标签分类损失(MMC L),通过放弃 Sigmoid 函数,将分类分数强制为 1 或-1,MMCL 加速了损失计算,解决了传统多标签分类损失中消失的梯度问题。MMCL 还涉及hard negative类挖掘,以处理正负类之间的不平衡。
-
3.相关工作
相关工作主要介绍的是无监督方法,分为三部分:无监督Person ReID 、无监督特征学习和多标签分类。
无监督Person ReID(Unsupervised person ReID)
无监督Person ReID可归纳为三类。
-
第一 类利用人工标注的特征。 然而,手工设计鲁棒和判别特征是困难的。
-
第二类采用聚类估计伪标签来训练CNN。 然 而,这些方法需要良好的预训练模型。
-
第三类利用转移学习来改善无监督Person ReID。一些工作使用转移学习,并通过使用额外的属性注释来最小化属性级别的差异
本文方法与它们不同, 它不需要任何标记数据。 它也比许多迁移学习方法获得了 更好的性能。
无监督特征学习(Unsupervised feature learning)
无监督的特征学习目的是减轻对标记数据进行特征学习的要求。可应用于不同任务:
- 一些工作采用无监督特征学习进行神经网络初始化
- 一些作品利用无监督特征学习来获取图像分类和检索的特征吴等人将每个图像视为单个类,并提出了一种非参数 Softmax 分类器来训练 CNN.与我们的工作有一定的相似性,因为本文也使用非参数分类器。 但与其他方法不同的是本文考虑多标签分类,这对于识别相同ID的图像以及区分不同ID图像具有重要意义。
多标签分类
多标签分类是为具有多类标签的分类任务而设计的。本文利用多标签分类来预测多类别标签,并着重研究人ReID的学习ID特征。据我们所知,这是针对unsupervised 的person ReID使用多标签分类的早期工作。
4.方法
4.1公式
给定一个未标记的行人数据集X = {x1,x2,…,xn},该算法的目标是在X上训练人ReID模型。
对于任何查询行人图像(query person image)q,预期Person ReID模型会产生特征向量(feature vector),以从gallery set G中检索同一个人的图像g。换一种说法,ReID模型应确保q与g比其他G种的图像其他图像g有更多的相似特征。从概念上将person ReID的目标表示为:
其中f ∈Rd是Person ReID模型提取的d维L2归一化特征向量。dist(·)是距离度量,例如L2距离。
为了训练数据集X,我