一、介绍
作者提出了一个序列联系无监督深度学习框架(Tracklet Association Unsupervised Deep Learning (TAUDL))来解决无监督的行人再识别问题。作者的方法能够联合学习视野内部tracklet的联系以及视野间tracklet的联系,不需要任何额外标注。实验证明TAUDL在6个行人再识别数据集上超过了现有的无监督方法和迁移学习方法。
二、作者的方法
2.1 稀疏时空采样(SSTT)
作者假设行人在短时间内只通过相机视野一次(比较合理)。现有的行人检测、行人跟踪的方法能够很容易对原始视频进行处理,获得行人tracklets。考虑到短时间跟踪丢失,会使得一个视野下在间隔时间很短内,有一个id的多个tracklets。针对这个问题,作者进行时间上稀疏采样,即选取大于行人通过视野时间Q的采样间隔P进行采样。考虑到由于空间遮挡可能造成检测错误的问题,作者进行空间上稀疏采样,仅选择在场景中共同出现且相距较远的tracklets。
通过稀疏时空采样,可以认为同一视野内每个tracklet对应的id都不同。所以对一个多相机视野网络,获得了(S_i, y_i)数据,i表示视野编号。S = {I_1,I_2,...}。I_i为一个视频序列。 作者提出的算法就是在这样的数据下联合学习视野内部tracklet的联系以及视野间tracklet的联系。
2.2 视野内tracklet联系的学习(Per-Camera Tracklet Discrimination (PCTD) learning)
网络结构如下图,每个视野内tracklets经过CNN提取特征后,每个视野一个分支。经过一层fc+softmax进行分类任务。这个分类损失称为L^t_CE。经过这个学习过程,网