Collaborative Spatiotemporal Feature Learning for Video Action Recognition

Li C, Zhong Q, Xie D, et al. Collaborative Spatiotemporal Feature Learning for Video Action Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 7872-7881.

时空特征学习是视频动作识别的核心内容。现有的深度神经网络模型要么独立学习空间和时间特征(C2D)，要么与无约束参数(C3D)联合学习。在本文中，我们提出了一种新的神经操作，通过对可学习参数施加一个权值共享的约束来协同编码时空特征。特别地，我们沿着三维视频数据的三个正交视图进行二维卷积，分别学习空间外观和时间运动线索。通过共享不同视图的卷积核，空间和时间特征可以协同学习，从而相互受益。然后通过加权求和融合互补特征，加权求和的系数是端到端学习的。我们的方法在大型基准测试中实现了最先进的性能，并在2018年时间挑战中获得了第一名。此外，基于不同视图的学习系数，我们能够量化空间和时间特征的贡献。本文的分析对该模型的可解释性有一定的指导意义，对今后视频识别算法的设计具有一定的指导意义。

可参考如下大佬链接：
https://www.cnblogs.com/shyern/p/11313109.html

https://blog.youkuaiyun.com/zahidzqj/article/details/95760811