Deep-Feature-Flow文章及代码训练解析

Deep Feature Flow for Video Recognition
CVPR2017
Github地址：https://github.com/msracver/Deep-Feature-Flow
paper地址：https://arxiv.org/abs/1611.07715

读书笔记

Deep feature flow 利用deep feature （appearance 信息）和 光流（motion 信息）来对视频中的每一帧做建模，它的核心思想是利用指定的关键帧（key frame）和其他帧（current frame）到关键帧的光流信息，把关键帧送入到deep CNN中得到deep feature，而对于其他帧算出与关键帧的光流，再用光流把关键帧的deep feature propagate （相加，在做双线性差值）到当前帧，这时候就可大大减少计算量，因为对于非关键帧的话就不用再去过CNN了。对于新得到的特征，接下来就可对其进行不同任务处理，比如分割或者检测。

算法要点

1）在关键帧（Key Frame）进行特征图提取

  这一步是比较耗时的，因此是间隔进行的，至于是使用Faster RCNN 还是RFCN，网络是ResNet-101 还是Inception，可以自行选择。

2）帧间传播

  通过下面这幅图来看，作者将 任务分成两个：特征提取 N（feat）和分类&分割 N（task）。
  耗时的特征提取 N（fea