[论文笔记] Non-local Neural Networks

最新推荐文章于 2023-06-25 10:48:13 发布
原创 最新推荐文章于 2023-06-25 10:48:13 发布 · 1.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#悲惨的读论文生涯 #non-local network

[论文笔记] Non-local Neural Networks

论文链接

第一遍初读

回答三个基本问题

  1. 这篇论文主要表达的是什么？作者写这篇论文的目的是什么？或者说这篇论文做出了什么成果？

    ​ 成果：we present non-local operations as a generic family of building blocks for capturing long-range dependencies（我感到这个英文表达意思比较精准，就没有自己翻译）

  2. 这篇论文是如何论证的？作者使用了哪些论据来支持观点或者成果。

    ​ 首先，作者先举出Convolutional and recurrent operations 的缺点-低效性，优化难还有迭代建立模型带来的信息来回传输难。

    ​ 其次，表示，non-local operations 可以解决上面的部分缺点 ，而且表明了这种操作的优点- 直接计算 long-range dependecies, 仅需要一些layer就可以得到最优解还有 输出和输入大小相同。

    ​ 最后，作者展示了这种操作在音频分类中的高效性。此外，由于这是种 a generi family family of building blocks ,故在其他领域如静态图片识别，物体检测，分割和姿势估计上取得了很好的效果。

  3. 相关的工作有哪些？在这篇论文之前有什么已经成立或者获得的成果？作者的观点/成果主要是建立在哪个的基础上？作者的观点/成果和别人的突出在哪里？

    建立的基础

    1. Non-local image processing

    2. Graphical models

      不同点： In contrast, our method is a simpler feedforward block for computing non-local filtering.
      Unlike these methods that were developed for segmentation, our general-purpose component is applied for classification and detection.

    3. Feedforward modeling for sequences

    4. Self-attention

      不同点： this sense our work bridges self-attention for machine translation to

最低0.47元/天 解锁文章
【论文笔记】Non-local Neural Networks
elaine_bao的专栏
06-26 7万+
Paper：https://arxiv.org/abs/1711.07971v1 Author：Xiaolong Wang, Ross Girshick, Abhinav Gupta, Kaiming He (CMU, FAIR) 0.简述 convolution和recurrent都是对局部区域进行的操作，所以它们是典型的local operations。受计算机视觉中经典的非局部均值...
Non-local Neural Networks
06-18 4235
上一篇关于注意力机制介绍到2021CVPR上发表的关于嵌入位置信息的注意力机制Coordinate Attention for Efficient Mobile Network Design，有兴趣的同学可以阅读一下。今天
Non-local Neural Networks 2017 论文笔记
phy12321的博客
04-25 557
卡内基梅隆大学 FaceBook AI Research 自己的想法： 将经典计算机视觉中的non-local mean操作与自注意力统一起来, 这两种思想其实是有异曲同工之妙的。各种自注意力机制都是本文方法的特例，而本文的non-local 机制则是一种可泛化的基础网络模块，厉害。 这里有篇讲解non-local mean思想的文章：https://www.jianshu.com/p/a9...
论文解读汇总 Non-local Neural Networks
曼车斯基的博客
10-23 331
论文：Non-local Neural Networks的一些阅读笔记 https://blog.csdn.net/elaine_bao/article/details/80821306 https://blog.csdn.net/red_ear/article/details/80718677?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param&dept
《Non-local Neural Networks》个人总结理解
胖胖大海的博客
09-03 5586
问题分析： 神经网络中的long-range依赖问题，对于序列数据（如语音、文字），可以使用RNN循环神经网络来提取长距离依赖，对于图像数据，由于卷积操作具有的局部连接的特性，使得卷积的结果仅和周围的局部区域相关。为了使的卷积操作能够捕捉到更大的依赖关系，目前的做法是增大卷积的感受野，这也就是常见的卷积+下采样（池化）的网络结构。这种网络结构存在以下限制： 计算效率不高 优化困难 跨级的依赖关系比较困难 核心观点： 论文提出的Non-Local操作，每个位置的特征都...
Non-Local Neural Networks
yy2050645的博客
11-18 8068
一.摘要 卷积操作和循环神经元操作都是建立了一个处理一个局部范围信息的一个过程.本文呈现了一种非局部(non-local)操作,可以作为用于捕获长范围依赖的一类模块.本文提出的non-local操作在计算feature map上某点的响应值时就是通过对feature map上所有点与当前点的关系加权求和的一个结果.本文提出的non-local模块可以插入到许多计算机视觉网络结构中并取得不错的效果. 二.Non-Local Neural Networks 2.1公式 2.2实例 高斯 编码高斯
Non-local Neural Networks论文阅读
goodenough5的博客
03-20 261
简单介绍了no-local模块。
Non-local Neural Networks.zip
02-02
非局部神经网络是一种新兴的深度学习架构，旨在解决传统神经网络处理图像和视频数据时的局限性。它通过引入非局部操作，使得网络能够学习长距离的依赖关系，从而在图像识别、视频理解等领域取得突破性的性能提升。...
深度学习-Non-local Neural Networks非局部神经网络
热门推荐
ssshyeong的博客
11-27 1万+
将非本地操作(Non-local Operation)作为一种高效、简单和通用的组件，用于使用深度神经网络捕获远程依赖关系。
non-local论文笔记
weixin_46460816的博客
05-23 597
https://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_Non-Local_Neural_Networks_CVPR_2018_paper.pdf 1、创新点 1、问题：卷积运算和循环运算都是处理局部邻域的构造，DCNN是通过重复的卷积操作得到长距离的相关性。缺点是计算效率低，其次优化困难 2、本文提出非局部操作，将某个位置的响应计算为所有位置特征的加权和。 目的是捕捉远距离的依赖关系。位置集可以是空间、时间、时空 no...
对于 Non-local Neural Networks 的一点思考
周航宁的博客
04-27 890
第一篇博客献给Non-local吧，先mark上，5.1假期补一下
8/24 (CVPR2018) Non-local Neural Networks
qq_40723205的博客
08-24 855
https://zhuanlan.zhihu.com/p/33345791 https://zhuanlan.zhihu.com/p/52510471 什么是local 和 non-local ? Local这个词主要是针对感受野(receptive field)来说的。以卷积操作为例，它的感受野大小就是卷积核大小，而我们一般都选用3*3，5*5之类的卷积核，它们只考虑局部区域，因此都是local的运算。同理，池化(Pooling)也是。 non-local指的就是感受野可以很大，而不是一个局部领域
【点云处理之论文狂读扩展版3】—— Non-local Neural Networks
yuanmiyu6522的博客
05-19 472
Non-local Neural Networks摘要1.引言2.相关工作3. Non-local Neural Networks3.1. Formulation3.2. Instantiations生词 摘要 问题：不论是卷积还是循环操作，都是每次构建一个local neighborhood 方法：提出一个non-local操作，用于捕获大范围的依赖 技术细节：non-local操作将某个位置的响应计算为所有位置特征的加权和 优势：plug and play 应用：video classificatio
【算法学习】NL：非局部注意力——Non-local Neural Networks
qq_50001789的博客
06-25 2292
非局部注意力：NL论文笔记——Non-local Neural Networks 非局部注意力网络（Non-local Attention Network）是一种深度学习模型，旨在捕捉全局上下文信息，与传统的卷积神经网络（CNN）不同，后者通常只关注局部区域的特征。非局部注意力通过计算所有位置之间的相似度关系来提取全局信息，从而在空间上实现长距离依赖的建模。这种方式能够有效捕捉图像中远距离像素之间的关系，对于处理具有复杂上下文信息的任务，如视频分析、图像分割和目标检测等，具有显著的优势。
Non-local Neural Networks的基本原理
最新发布
03-20
### Non-local Neural Networks 的基本原理 Non-local Neural Networks 是一种用于捕捉图像或序列数据中全局依赖关系的方法。其核心思想来源于非局部均值方法[^1]，并进一步扩展到神经网络领域。以下是对其基本原理的详细介绍： #### 1. 非局部操作的核心概念 Non-local 操作旨在捕获输入信号中的远距离交互关系。它通过计算任意两个位置之间的响应来实现这一点。具体来说，对于给定的位置 \(i\) 和其他所有位置 \(j\)，Non-local 模块会基于它们的关系权重调整该位置的特征向量。 这一过程可以被形式化描述为以下公式： \[ y_i = \frac{1}{C(x)} \sum_{j} f(x_i, x_j) g(x_j), \] 其中， - \(f(\cdot)\) 表示一对位置之间关系的函数； - \(g(\cdot)\) 表示对另一个位置特征的变换； - \(C(x)\) 是归一化项，通常取为常数或者由 \(f(\cdot)\) 定义的总和。 这种机制允许模型不仅关注局部邻域内的信息，还能够利用更广泛的上下文信息[^3]。 #### 2. 关系推理模块的影响 Santoro 等人在研究中提出了一个简单的神经网络模块用于关系推理[^2]。他们的工作表明，在处理复杂场景理解任务时，显式建模对象间的关系是非常重要的。这启发了后续关于如何设计有效的关系感知架构的研究方向之一就是引入 non-local 结构作为基础组件。 #### 3. 构造 Non-local 模块 为了便于集成进现有各种类型的深度学习框架之中，论文给出了具体的实现方式——即所谓的 “non-local block”。这个构建单元内部包含了前面提及过的 non-local 运算逻辑，并且可以通过堆叠多个这样的 blocks 来增强整个系统的表达能力[^4]。 下面是一个 Python 实现的例子，展示了如何在一个标准 CNN 层之后加入 Non-local Block: ```python import torch.nn as nn import torch class NonLocalBlock(nn.Module): def __init__(self, in_channels, inter_channels=None): super(NonLocalBlock, self).__init__() self.in_channels = in_channels self.inter_channels = inter_channels if self.inter_channels is None: self.inter_channels = in_channels // 2 conv_nd = nn.Conv2d bn = nn.BatchNorm2d self.g = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.W = conv_nd(in_channels=self.inter_channels, out_channels=self.in_channels, kernel_size=1) self.theta = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.phi = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.bn = bn(self.in_channels) def forward(self, x): batch_size = x.size(0) g_x = self.g(x).view(batch_size, self.inter_channels, -1) g_x = g_x.permute(0, 2, 1) theta_x = self.theta(x).view(batch_size, self.inter_channels, -1) theta_x = theta_x.permute(0, 2, 1) phi_x = self.phi(x).view(batch_size, self.inter_channels, -1) f = torch.matmul(theta_x, phi_x) f_div_C = F.softmax(f, dim=-1) y = torch.matmul(f_div_C, g_x) y = y.permute(0, 2, 1).contiguous() y = y.view(batch_size, self.inter_channels, *x.size()[2:]) W_y = self.W(y) z = W_y + x return z ``` 此代码片段定义了一个通用版本的 Non-local Block 类型，适用于二维空间上的张量运算（例如图片）。注意这里采用了嵌入高斯相似度衡量法来进行注意力分配。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值