《Non-local Neural Networks》论文阅读

最新推荐文章于 2024-05-14 15:49:41 发布

jinfeng2411

最新推荐文章于 2024-05-14 15:49:41 发布

阅读量491

点赞数

CC 4.0 BY-SA版权

分类专栏：论文阅读

本文链接：https://blog.youkuaiyun.com/qq_34706871/article/details/104743564

论文阅读专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一种名为Non-localBlock的模块，它受Non-localmeans算法启发，用于捕获神经网络中的长距离依赖信息。通过四种不同的函数选择，Non-localBlock能够有效地集成到现有神经网络中，即使在网络中添加此模块对计算复杂度的影响也相对较小。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文地址：https://arxiv.org/abs/1711.07971

一、简介

无论是卷积操作（convolutional operation）还是循环操作（recurrent operation），都是在一个邻域内进行的处理。

本文受到 Non-local means 的启发，提出了一个可以集成在神经网络中的非局部操作模块——Non-local Block，来捕获神经网络中的长距离依赖信息（ capture long-range dependencies）。

Non-local means的表达式如下：

其中 $y_{i}$ 代表输出信号 $y$ 中的第 $i$ 个位置的值，该值将受到输入信号 $x$ 中所有点的值的影响（由 $x_{j}$ 来遍历输入信号中所有点），不同点的影响是可以不一样的（例如离 $x_{i}$ 越近的点，对该点的输出（ $y_{i}$ ）的影响越大），影响的大小是由函数 $f(x_{i},x_{j})$ 来决定的（例如 $f$ 可以是用来计算欧氏距离的函数）， $g(x_{j})$ 表示的是输入信号 $x$ 在 $j$ 点的强度， $C(x)$ 的作用是作标准化（normalized）。

假设 $g$ 是一个线性函数即 $g(x_{j}) = W_{g}x_{j}$ ，下面讨论函数 $f(x_{i},x_{j})$ 有哪些选择：

1、高斯函数（Gaussian）： $f(x_{i},x_{j}) = e^{x_{i}^{T}x_{j}}$ ， $x_{i}^{T}x_{j}$ 是利用内积来计算相似度，相比于欧氏距离，它的实现比较简单，标准化因子可以设为： $C(x)= \sum_{\forall j}^{ }f(x_{i},x_{j})$

2、复合高斯函数（Embedded Gaussian）： $f(x_{i},x_{j}) = e^{\theta (x_{i})^{T}\Phi (x_{j})}$ ，其中 $\theta(x_{i}) = W_{\theta }x_{i}$ ， $\Phi (x_{j}) = W_{\Phi }x_{j}$ ，标准化因子可以设为： $C(x)= \sum_{\forall j}^{ }f(x_{i},x_{j})$ ，对于任一给定的 $i$ ， $\frac{1}{C(x)}f(x_{i},x_{j})$ 在 $j$ 维度上是个 softmax 函数（归一化指数函数），因此有 $y = softmax(x^{T}W_{\theta }^{T}W_{\Phi }x)g(x)$ ，这就是最近出现在机器翻译中的自注意力模块（self-attention module）

3、内积形式（Dot product）： $f(x_{i},x_{j}) = \theta (x_{i})^{T}\Phi (x_{j})$ ，此时将标准化因子设为： $C(x)= N$ ， $N$ 为 $x$ 中点的个数，这样简化了梯度的计算。

4、连结形式（Concatenation）： $f(x_{i},x_{j}) =ReLU(W_{f}^{T} [\theta (x_{i}),\Phi (x_{j})])$

作者在实验中发现，上述 $f(x_{i},x_{j})$ 的几种形式对实验结果的提升差异不大（not sensitive to these choices）。

二、Non-local Block（非局部模块）

定义 Non-local Block 如下：

其中的 $y_{i}$ 是上面公式（1）所定义的非局部操作（non-local operation）， $+x_{i}$ 是为了将该模块做成一个残差结构（方便插入到网络中，如当 $W_{z}$ 初始化为0时，对原网络没有影响）。

根据前面的定义，Non-local Block 的结构如下：

值得注意的是，这里都是使用 1x1x1 （因为在 spacetime 域中，所以是三维）的卷积核来执行线性操作（linear embedding），如 $W_{\theta }$ 、 $W_{\Phi }$ 、 $W_{g }$ 和 $W_{z}$ 。同时 1x1x1 的卷积核将输入在 channel 上的维度由 1024 降到 512 ，减少计算复杂度。若要进一步降低计算复杂度，可以先对输入进行下采样。