[论文笔记] Non-local Neural Networks

[论文笔记] Non-local Neural Networks

论文链接

第一遍初读

回答三个基本问题

1. 这篇论文主要表达的是什么？作者写这篇论文的目的是什么？或者说这篇论文做出了什么成果？

   ​ 成果：we present non-local operations as a generic family of building blocks for capturing long-range dependencies（我感到这个英文表达意思比较精准，就没有自己翻译）

2. 这篇论文是如何论证的？作者使用了哪些论据来支持观点或者成果。

   ​ 首先，作者先举出Convolutional and recurrent operations 的缺点-低效性，优化难还有迭代建立模型带来的信息来回传输难。

   ​ 其次，表示，non-local operations 可以解决上面的部分缺点 ，而且表明了这种操作的优点- 直接计算 long-range dependecies, 仅需要一些layer就可以得到最优解还有 输出和输入大小相同。

   ​ 最后，作者展示了这种操作在音频分类中的高效性。此外，由于这是种 a generi family family of building blocks ,故在其他领域如静态图片识别，物体检测，分割和姿势估计上取得了很好的效果。

3. 相关的工作有哪些？在这篇论文之前有什么已经成立或者获得的成果？作者的观点/成果主要是建立在哪个的基础上？作者的观点/成果和别人的突出在哪里？

   建立的基础

   1. Non-local image processing

   2. Graphical models

      不同点： In contrast, our method is a simpler feedforward block for computing non-local filtering.
      Unlike these methods that were developed for segmentation, our general-purpose component is applied for classification and detection.

   3. Feedforward modeling for sequences

   4. Self-attention

      不同点： this sense our work bridges self-attention for machine translation to