本文介绍了CVPR2018论文《Non-local Neural Networks for Video Classification》的内容，探讨了如何将非局部思想引入视频分类，以获取长范围依赖。论文提出了一种非局部操作，用于在提取特征时利用所有位置的信息，通过不同形式的f()函数（如高斯、嵌入高斯、点积、拼接）进行实现，并将其封装为块结构方便插入现有网络。实验结果显示，非局部机制在Kinetics和COCO数据集上提高了视频分类和检测/分割的性能。
论文：Non-local Neural Networks for Video Classification
论文链接：https://arxiv.org/abs/1711.07971
代码链接：https://github.com/facebookresearch/video-nonlocal-net
这篇是CVPR2018的文章，将non local思想引入视频分类。这篇文章受传统的non-local mean operation启发，核心思想就是：our non-local operation computes the response at a position as a weighted sum of the features at all positions. 简单讲单纯的一层卷积操作其实都是很local的，因此为了达到non local的效果（也就是文中说的获取 long range dependency），一般就是不断叠加这样的特征提取层，这样高层网络的感受野（receptive field）就越来越大，获取的信息分布广度也越来越高。但是这种不断叠加的方式必然会带来计算量的增加和优化难度的增加，因此就有了本文作者提出的non local机制。
non-local操作如公式1所示，表达的意思就是利用xi附近的xj的信息来得到yi。
公式1中的xi和xj的含义可
最低0.47元/天 解锁文章
扫一扫
1795
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
