《Diversity Regularized Spatiotemporal Attention for Video-based Person Re-identification》论文笔记

 

多元化规范的 时空关注 用于基于视频的行人重识别

时空注意力模型：自动的发现那些具有判别性区域的身体部分

网络使用多个空间注意力模型，并使用多样化的正则化项，来使得各个空间注意力模型学习的身体部分不同

本文：使用多个空间注意力模型来确定这些判别性区域，再使用时序注意力模型来加权池化这些判别性区域

 

一、Restricted Random Sampling

类似Temporal segment network的原理

该方法能够利用整个视频序列的视觉信息、避免帧与帧之间过于冗余

作者将视频序列按照相等时间分为N个块，每个块中随机选择1张图片

实验中作者提到N=6，实际上也就是从视频序列中选择6张图片。（mars这个库最少只有6张图片）。

如果全部利用所有的帧，会因为有很多质量不好的图片（遮挡，光照等因素）对我们学习出来的特征影响很大。

所以作者每个序列只选取了部分帧，通过空间注意力实现空间对齐，然后使用时序注意力模型来计算融合后的特征表达

 

二、Multiple Spatial Attention Models

使用多个空间注意力模型，希望不同的模型能够找到不同的具有判别性区域的