【paddlepaddle 论文复现营阅读笔记】ECO: Efficient Convolutional Network for Online Video Understanding

【paddlepaddle 论文复现营阅读笔记】ECO: Efficient Convolutional Network for Online Video Understanding
论文复现营课程地址
https://aistudio.baidu.com/aistudio/education/group/info/1340

文章地址
ECO: Efficient Convolutional Network for Online Video Understanding

参考文章：
https://zhuanlan.zhihu.com/p/36795554
https://zhuanlan.zhihu.com/p/64470726
https://zhuanlan.zhihu.com/p/84599705
https://zhuanlan.zhihu.com/p/66342566

摘要

ECO网络仅采用RGB图像输入，没有额外的光流信息，这使得其轻量并且推理速度快。其基本思路为：对视频均匀采样得到N帧图像，对这些图像使用共享的2D CNN网络获得一个2D feature map，再堆叠这些feature map，用一个3D CNN网络得到最后的分类结果。（而不是像之前3D卷积那样将多帧的特征在最后进行融合）在获得了相近的性能的前提下，ECO网络比SOTA方法要快10-80倍。

Motivation

视频理解技术的现状存在两个问题：

1.无法有效学习跨越多帧的较长时间动作信息。之前提出的几种