[行人重识别论文阅读]Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain Adaptation on Person

最新推荐文章于 2022-01-17 17:11:06 发布

原创

最新推荐文章于 2022-01-17 17:11:06 发布 · 1.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络 #机器学习

论文地址：https://openreview.net/forum?id=rJlnOhVYPS
代码地址：https://github.com/yxgeee/MMT

文章的主要核心思想顾名思义就是解决伪标签噪声问题。

看到网上有很好的解析文章：
https://zhuanlan.zhihu.com/p/116074945/

Abstract

1.最先进的无监督领域自适应人再识别方法通过在目标域上使用聚类算法生成的伪标签进行优化，将学习到的知识从源域转移到目标域,但忽略了不可避免的标签噪声的聚类过程。

2.我们提出了一个无监督的框架，Mutual Mean-Teaching (MMT)来柔化目标领域的伪标签（就是降噪），以替代训练方式，通过离线提炼hard伪标签和在线提炼soft伪标签来学习目标领域更好的特征。
(在这里，"硬"标签指代置信度为100%的标签，如常用的one-hot标签[0,1,0,0]，而"软"标签指代置信度<100%的标签，如[0.1,0.6,0.2,0.1]。)

3.此外，常用的做法是同时采用分类损失和三元组损失，以实现行人重id模型的最优性能。然而，传统的三元组损失不能与软精炼的标签一起工作。为了解决这一问题，提出了一种新的支持软三元组伪标签学习的名为softmax-triplet损失算法，以实现最优的域自适应性能。

1.Introduction

1.最先进的UDA方法(Song et al.， 2018;Zhang et al.， 2019b;Yang et al.， 2019)对行人重id组未标注的图像进行聚类算法，并用聚类生成的伪标签训练网络。虽然伪标签生成和伪标签特征学习交替进行，在一定程度上细化了伪标签，但不可避免的标签噪声仍然在很大程度上阻碍了神经网络的训练。噪声的产生是由于源域特征的可转移性有限、目标域恒等式的个数未知、目标域恒等式的个数未知等因素造成的。噪声伪标签的提取对最终性能有至关重要的影响，但基于聚类的UDA算法大都忽略了伪标签的提取。

2.我们提出了一个无监督的MMT（共同均值学习）的框架网络，
在离线提炼硬伪标签和在线提炼软伪标签的联合监督下，对神经网络进行优化，有效地实现伪标签的提炼，提供了更健壮的软伪标签。

在这里插入图片描述
3.为了避免训练误差的放大，提出了每个网络的时间平均模型(the temporally average model of each network)，以产生可靠的软标签，在协同训练策略中监督其他网络。