行人重识别(4)——行人重识别（基于视频）综述

！转载请注明原文地址！——东方旅行者

更多行人重识别文章移步我的专栏：行人重识别专栏

基于视频的行人重识别

一、传统方法

摄像机拍摄的数据大多都是视频信息，可以提供更多的信息帮助我们更好地进行行人匹配与再识别。不少方法尝试去提取视频中的三维数据来进行外貌表征，如HOG3D以及3DSIFT等特征都是从广泛使用的2D扩展而来的。不少工作拿步态来研究基于视频的行人再识别问题,然而步态的获取需要行人轮廓信息域者身体部位信息等，而没有考虑行人的外貌信息。在遮挡较多、背景较复杂的监控环境下，如何提取到精确的行人轮廓或身体部位信息，仍是一个比较棘手的问题。Simonnet等提出了用动态时间弯曲距离，对视频序列进行度量学习。Wang等提出一种基于时空描述子对行人进行重识别的方法，融合了HOG3D、步态能量图(GEI)，提取视频中光流强度值(FEP)进行步态周期检测，进而提取出运动特征。提出通过运动能量强度，将视频在时间上分割为不同的片段，并在匹配的过程中通过学习的方法训练一个排序模型，自动地选择最具判定性的片段。You等提出TDL，在特征提取上融合了颜色特征、LBP特征和HOG3D特征,并通过改进了LMNN算法提出TDL算法。LMNN的目标是缩小附近正样本间的差异，惩罚附近所有的负样本；而TDL的目标是缩小正样本间的差异，惩罚离得最近的负样本；所以TDL比LMNN有更强的约束。

二、深度学习方法

近些年来，随着深度学习发展，在基于视频的行人重识别也有所应用。以往的数据集规模不大，因此Zheng等建立了一个更大规模的基于视频序列的行人重识别数据集MARS，并用深度学习的方法在此数据集上进行实验，获得了不错的结果。未来的研究中，包括MARS在内的越来越多的大规模数据集将会作为基准数据集使用，将深度学习的方法引入到研究中，可以获得较好的重识别结果。在基于视频的行人重识别任务中，数据集是由行人序列构成，仅采用和基于图像相同的研究方法不能很好地利用数据的时间信息。然而，由于行人重识别的数据集本身较为模糊，具有很大的挑战性，传统的光流、HOG3D以及步态等提取图像运动信息的方法已经很难取得突破性进展。随着CNN在基于图像的任务中应用的成熟，部分研究者把其运用到了基于视频的领域中，此外，为了弥补CNN只能处理空间维度信息的缺陷，获取更多的时间信息，研究者们开始将RNN以及其改进模型LSTM等用于序列建模。不同于CNN的深度体现在网络层数及参数规模上，RNN/LSTM的深度主要体现在时间节点上的深度。Yan等提出提出了一种RFA-Net，先提取图像的颜色特征和LBP特征，获得基于图像的特征，然后与LSTM结合，获得基于序列的特征，充分利用序列数据集的信息。Mclaughlin等提出将输入的信息分为外观特征和光流信息，将CNN和RNN网络相结合，在CNN的基础上