Non-local Neural Networks

最新推荐文章于 2022-02-22 12:17:30 发布

CV大白菜

最新推荐文章于 2022-02-22 12:17:30 发布

阅读量5.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： CV大白菜文章标签：分类trick

本文链接：https://blog.youkuaiyun.com/qq_28778507/article/details/90482074

非局部神经网络（Non-local Neural Networks）引入了一种新的操作，用于捕捉图像中的全局信息，尤其适用于视频分类任务。通过计算像素间的关联性，非局部块可以作为一个模块插入到任何网络中。实验表明，这种方法在ResNet的不同阶段都能提升性能，且非局部块的数量增加能捕获更复杂的依赖关系，而不只是增加网络深度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接：论文
一位大佬的博客：博客
一般深度学习的各种操作都是local的，比如CNN，conv都是局部感受野，但其实全局的信息对于图像的任务更有价值，比如短视频分类任务等等，目前全局信息的使用就是FC，但是这会带来大量的参数。这篇文章提出了一个nonlocal的操作，他把position当成了一个权重，这里的position可以指空间，时间，或者时空关系，计算全局的关联性。eg视频中第一帧的A1区域和第十帧中A3区域有关联性，或者静态图像中，有些区域有关系，如果找到这些关系，就可以更好的分析目标整体的动作。
在这里插入图片描述
这个nonlocal可以被封装成一个block，用于任何网络。
贴出它的公式：

它是一个类似attention的机制，根据各像素之间的相关性，对所有像素进行加权。权重越大，说明这个区域越重要。
$x_{i}$ 代表输入图像的各像素点, $f$ 计算 $x_{i}$ 和所有 $x_{j}$ 之间的相关性。 $g$ 可以理解为对 $x_{j}$ 的一种增强操作。（注意, $x$ 为向量。故 $f$ 的结果为一个数值, $g(x_{j})$ 仍为一个向量， $C (x)$ 是用于归一化的数值。相当于给输入图像每个像素点处的向量 $x_{j}$ ，都乘以 $x_{i}$