光流为何对动作识别有效？《On the Integration of Optical Flow and Action Recognition》

核心思想：作者试图分析光流对于action recognition之所以有效的原因。

作者分析了目前之所以使用光流的几种假设：

假设1：对于视频分类任务，光流能更好的表达两帧之间的特征。接上的感觉是optical flow中的运动轨迹包含有用的信息，可以提升光流对于动作识别的性能。

验证假设：作者通过对TSN双流网络的光流分支进行特征处理，对光流图先进行shuffle，从而打乱假设中所说的光流中包含的前后运动轨迹信息，仍然得到了较高的准确率，证明了并不是光流中包含的轨迹信息带来的性能提升。更进一步的，作者猜测可能是在计算光流时，已经默认包含了前后帧的运动信息，所以作者在计算光流之前就将图像进行shuffle，然后使用shuffle后的前后帧图像计算光流特征进行预测，结果仍然获得了不错的性能，进一步否定了假设中所说的光流特征包含运动轨迹信息的说法。

 

假设2：提取的光流特征越准确，得到的action识别准确率就越高吗？提取光流的准确性和action识别的准确性呈正相关吗？

背景知识：提取光流的评价指标是EPE（end-point-error），EPE越小，说明算法提取的光流特征越准确。

验证假设：作者使用几种不同的光流特征提取方法进行特征提取，然后在此基础上finetuning TSN双流网络训练UCF101数据集，得出结论是光流算法的EPE指标和action识别的准确率没有相关性。并且，作者实验发现，光流中小位移以及boundary边界的准确率和action识别准确率有强相关性。大幅度的运动和识别准确率无关。

假设3：除了使用EPE来度量光流特征的质量，对于action识别这种特定任务来说，有没有更好的表征运动特征的方法？

验证假设：当前常用的双流网络模式是在数据预处理阶段先提取光流特征，然后在训练阶段把光流特征输入网络进行训练。那么这种模式的假设就是越好的光流算法，越低的EPE，就能得到越高的action识别准确率。但是假设2中已经证明了EPE和action准确率之间几乎没有相关性。那么能不能使用action识别的准确率作为优化光流特征的学习指标呢？就是直接用上层任务的优化指标来优化底层光流提取模型的性能，而不是使用EPE来进行光流优化。联合训练optical flow和action recognition，使用action识别的准确率损失来同步优化光流模型和action识别模型。实验表明，这种方法可以针对特定的上层任务学习特征的光流特征，从而带来上层任务性能的提升。

结论：光流对于action识别任务之所有有效是因为光流具有的外观不变性（invariant to appearance），同时观察到EPE指标和action识别指标没有相关性。并且，基于特征任务的评价指标训练特征的光流模型，学习适用于特征任务的光流特征能够取得更好的效果。