【视频检测】Deep Feature Flow for Video Recognition

文章来源：https://arxiv.org/pdf/1611.07715.pdf

Introduction

提出了DeepFeatureFlow Network，通过流场将深度特征从关键帧映射到其他帧，这样就节省了其他帧计算深度特征的时间。因为计算流场的时间相较而言很短，所以能够提高效率。

Related Work

Slow Feature Analysis

研究发现高级语义特征(深层特征)在帧间的变化慢于低级的语义特征(原图或浅层特征)。

Optical Flow

计算光流有传统的方法。也有基于神经网络的，代表作就是FlowNet.
传统的方法计算的是原图的流场，前面提到深度特征图的流场变化可能弱于原图的，若用传统的方法会使算出来的流场不准确。所以应该用神经网络去拟合。本文计算深度特征流就是用FlowNet。

Deep Feature Flow Network

下图展示了本文视频检测方式和普通的逐帧检测方法的区别

其中Nfeat是特征提取网络，输出是一系列特征图。Ntask是任务网络(视具体任务而定，图中是语义分割，也可以是目标检测)，F是流场计算网络(文中是FlowNet).
由于F的输出和Nfeat的输出尺寸可能不一致，所以propagation需要用到双线性插值。

文中采用了最简单的的方法确定关键帧，即每隔l帧确定一个关键帧。对于第i帧，当k<i<k+l时，该帧的特征图由第k帧的特征图传播得到。