Non Local Module相关blog阅读笔记

最新推荐文章于 2025-02-23 13:44:40 发布
最新推荐文章于 2025-02-23 13:44:40 发布
阅读量427 收藏 3
点赞数
分类专栏： ATTENTION
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46239293/article/details/119742424
版权

Non Local Module相关blog阅读笔记

申明

全文内容来自三篇blog。

BLOG1

Efficient Coarse-to-Fine Non-Local Module for t… - 简书 https://www.jianshu.com/p/7e7f677bc8eb

BLOG2

【最新前沿】Facebook何恺明等大神最新论文提出非局部神经网络（Non-local Neural Networks）

BLOG3 （提供了代码）

Non-local neural networks

文献

主要来自以下两篇文章
2018 年 CVPR Efficient Coarse-to-Fine Non-Local Module for the Detection of Small Objects
Non-local neural networks

摘要（来自BLOG1）

在这里插入图片描述

思考？

关系推理过程可以以粗略到精细的方式更好地建模并呈现出一种新颖的框架，顺序地应用非局部模块以沿着自上而下的网络增加特征图的分辨率。通过这种方式，内部关系推理过程可以自然地将信息从较大的对象传递到较小的相关对象（分辨率从小到打？）。将该模块应用于精细的特征图，还可以利用来自同一类的多个重复对象在小目标本身之间传递信息。
（在代码里看解决）

介绍（来自BLOG1）

在这里插入图片描述

何为关系推理？

举例：
在这里插入图片描述
在这里插入图片描述

传统的非局部模块和改进的ENL（efficient non local module）（来自BLOG1）

在这里插入图片描述

主要贡献（来自BLOG1）

在这里插入图片描述

问题？

可以置于网络任意位置？

作者放在哪里？backbone？这个开销如何？

由粗到细的方式获得关系推理？

我是否可以认为从小分辨率的feature到大特征图的feature。

Related Work（来自BLOG1）

在这里插入图片描述

思考与解释

  • bottom up top down networks 和 context modelling 比如Retinaface的代码。(未完善，待补充)
  • modern relation reasoning 可嵌入backbone，已提供更多信息，当之前也提到可以放到任意位置。

Approach（来自BLOG1）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

额外补充加强理解（来自BLOG2）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Non local module 例子（重点）

在这里插入图片描述

Implementation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

BLOG3内容节选（重点）

local 典型的例子就是卷积和池化操作，针对于局部的信息，还有attention机制，而 non local 则就是考虑这种忽略的全局关系信息。
在这里插入图片描述

BLOG3更容易理解non local module

这一部分看原论文更好理解
在这里插入图片描述

原论文的non local module

在这里插入图片描述

简要说明公式的含义：

在这里插入图片描述

  • x,y分别是输入输出，x和y均被展平，即修改为(HW×channels)的形式。
  • 下标 i，j 分别是对应的空间位置。
  • F相似矩阵，衡量两个像素 i ， j的相似性。
  • Z(x)是归一化因子
  • g(xj)是第j个空间像素的表示即特征(g ∈ RHW×Cg，每个像素的表示中的Cg channels)

在这里插入图片描述

相似性函数F

在这里插入图片描述
在这里插入图片描述

xi 就是这里的残差。

具体实现

在这里插入图片描述
在这里插入图片描述

【图像超分】论文精读：Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-20 1808
基于深度卷积的单幅图像超分辨率(SISR)网络包含了从大规模外部图像资源中学习局部恢复的好处，但现有的研究大多忽略了自然图像中的远程特征相似性。最近的一些工作通过探索非局部注意模块成功地利用了这种内在特征相关性。然而，目前的深度模型都没有研究图像的另一个固有属性：跨尺度特征相关性。在本文中，我们提出了第一个跨尺度非局部 (CS-NL) 注意力模块，并集成到循环神经网络中。通过将新的 CS-NL 先验与强大的循环融合单元中的局部和尺度内非局部先验相结合，我们可以在单个低分辨率 (LR) 图像中找到更多的跨尺度
LGESQL: Line Graph Enhanced Text-to-SQL Model with Mixed Local and Non-Local Relations 论文笔记
weixin_43829169的博客
12-04 1338
文章目录摘要 摘要 这项工作旨在解决文本到SQL任务中具有挑战性的异质图编码问题。以前的方法通常是以节点为中心，仅仅利用不同的权重矩阵来对边缘类型进行参数化，这些方法 忽略了嵌入在边缘的拓扑结构中的丰富语义信息 不能区分每个节点的局部和非局部关系 为此，我们提出了一个 ** Line Graph Enhanced Text-SQL（LGESQL） **模型来挖掘底层的关系特征，而无需构建元路径。由于线图的存在，信息不仅通过节点之间的连接，而且通过有向边的拓扑结构更有效地传播。此外，在图的迭代过程中
Non-local 代码实现
weixin_42096202的博客
06-21 4090
# Non-local module class Nl(nn.Module): def __init__(self, wn, in_channels, key_channels, value_channels, out_channels=None, scale=1): super(Nl, self).__init__() # self.scale = sca...
非局部模块（Non Local module）
weixin_30699741的博客
05-28 1719
Efficient Coarse-to-Fine Non-Local Module for the Detection of Small Objects 何恺明提出了非局部神经网络（Non-local Neural Networks），非局部通用网络结构，超越CNN。 non-local指的就是感受野可以很大。 【链接】 Efficient Coarse-to-Fine Non...
non-local模块
weixin_43489950的博客
06-15 674
https://zhuanlan.zhihu.com/p/129658872
阅读论文 Non-local Neural Networks（非局部神经网络）
red_ear的博客
06-17 8160
论文下载 code下载   而非局部(non-local) 模块把非局部感受野的信息提取操作做成一个神经网络模块，方便了端到端的视频分析：                     这个模块输入x可以理解为32帧的视频（32张图片帧数 T=32，长宽为H×W），输出z也是H×W大小的特征图。有没有注意到最左端的箭头是一个跳层连接？没错，non-local模块就是把视频额外的时空信息提取作为一...
【模块】Non-local Neural
最新发布
2301_77549977的博客
02-23 232
非局部操作通过在输入特征图的所有位置上计算响应的加权和来实现，其中权重由位置之间的关系（如相似性）确定。尽管能够处理长距离依赖，但非局部模型在只有几层的情况下即可达到最佳效果，例如，在视频分类任务中，即使没有任何额外技巧，非局部模型也能与当前的竞争者相抗衡或超越。与重复应用局部操作（如卷积和递归操作）逐渐传递信号不同，非局部操作可以直接处理任意两个位置间的相互作用，无论它们的位置距离有多远。无论是在动态视频还是静态图像识别任务上，加入非局部块的模型都显示出了对基线模型的明显改进，同时额外的计算成本很小。
【CVPR2020图像超分辨率】Cross-Scale Non-Local Attention / CSNLN 阅读笔记
weixin_43514766的博客
11-27 6982
Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining 本文介绍的是发表在CVPR2020的一篇关于图像超分辨率的文章，其核心是跨尺度非局部注意力机制。 上周在实验室seminar介绍了这篇文章，为了加强记忆????，准备写一篇笔记。 ????paper：Image Super-Resolution with Cross-Scale Non-Local Attentio
论文笔记：ARTNet、Non-local Neural Networks
qq_40133804的博客
03-01 547
《Appearance-and-Relation Networks for Video Classification》 链接: https://arxiv.org/abs/1711.09125. 这篇文章中，作者认为在分类视频工作时最主要要抓住两点，1是每一帧的静态外观，2、是跨多帧之间的时序关系。 帧的静态外观很好提取，处理视频最重要的难点就在于如何表示多帧之间的时序关系。主流的做法有两种，1...
Video Understanding(视频理解，I3D，SlowFast，Non-local)
nakaizura
03-18 8663
CV领域图像已经登天很难短时间玩不出大花样大结构了（希望能早日打脸），大家开始打往视频上面靠的主意。由于早期限制于数据集和计算设备，多是从图像的2D模型直接转换成3D版本，如SIFT 3D，3D HOG，或者Dense Trajectory这种统治了很久的模型等，等到深度学习开始步入新的周期，数据集也开始扩增出现UCF101，ActivityNet，Charades，YouTube8M，Kine...
【计算机视觉】详解 Non-local 与 SENet、CBAM 模块融合：GCNet、DANet (视觉注意力机制 (三))
闻韶
04-11 1万+
绪论 视觉注意力机制 (一)阐述了视觉应用中的 Self-attention 机制及其应用 —— Non-local 网络模块；视觉注意力机制 (二)主要分析了视觉注意力机制在分类网络中的应用——SENet、CBAM、SKNet 。它们构成了视觉注意力机制中的基本模块，本节将主要介绍融合 Non-local 模块和 SENet 模块的全局上下文建模网络（Global Context N...
NeurIPS 2018 | 腾讯AI Lab参与提出构建非局部模块的新方法
腾讯AI实验室
12-09 773
感谢阅读腾讯AI Lab微信号第63篇文章。AI领域顶会 NeurIPS 正在加拿大蒙特利尔举办，腾讯AI Lab实验室每日将深度解读一篇入选论文，今天是第7篇。Enjo...
Non-local总结
judgechen1997的博客
05-10 1109
Non-local能够引入全局的信息，就能很好地解决local操作无法看清全局的情况，为后面的层带去更丰富的信息。（可以和FC以及普通local conv对比下，FC也是non-local连接，而且是global的） 这两篇blog感觉写的很好： https://zhuanlan.zhihu.com/p/33345791 https://blog.youkuaiyun.com/u014380165/article/details/80012001 自己总结下， Non-local module的核心就是如下两个公式：
视觉注意力机制 | Non-local模块如何改进？来看CCNet、ANN
AI算法修炼营的博客
03-05 8033
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货前面的话前面的文章中，我们关注了Non-local网络模块、视觉注意力机制在分类网络中的应用——SENet、SKNet、...
NONE LOCAL survey 2018-2019
Aries_M的博客
10-16 818
none local neural network non-local Neural Networks for Video Classification CVPR 2018 motivated from `non-local mean operation, instead of adding layers, the authors choose to use none local mechan...
【算法学习】NL：非局部注意力——Non-local Neural Networks
qq_50001789的博客
06-25 1873
非局部注意力：NL论文笔记——Non-local Neural Networks 非局部注意力网络（Non-local Attention Network）是一种深度学习模型，旨在捕捉全局上下文信息，与传统的卷积神经网络（CNN）不同，后者通常只关注局部区域的特征。非局部注意力通过计算所有位置之间的相似度关系来提取全局信息，从而在空间上实现长距离依赖的建模。这种方式能够有效捕捉图像中远距离像素之间的关系，对于处理具有复杂上下文信息的任务，如视频分析、图像分割和目标检测等，具有显著的优势。
Non-local Net理解
Summer_star_summer的博客
12-09 1433
1.首先了解非局部均值滤波 基本思想是：当前像素的估计值由图像中与它具有相似邻域结构的像素加权平均得到。理论上，该算法需要在整个图像范围内判断像素间的相似度，也就是说，每处理一个像素点时，都要计算它与图像中所有像素点间的相似度。 但是考虑到效率问题，实现的时候，会设定两个固定大小的窗口：搜索窗口和邻域窗口。搜索窗口尺寸为（DXD,D=2XDs+1),邻域窗口尺寸为（dxd,d=2xds+1)，从而保证窗口尺寸为奇数。 邻域窗口在搜索窗口中滑动，根据邻域间的相似性确定像素的权值。 如图所示，大窗口（白色的）是
Non-local算法笔记
热门推荐
AI之路
04-19 3万+
论文：Non-local Neural Networks for Video Classification 论文链接：https://arxiv.org/abs/1711.07971 代码链接：https://github.com/facebookresearch/video-nonlocal-net 这篇是CVPR2018的文章，将non local思想引入视频分类。这篇文章受传统的non...
学习笔记之——non-local
gwpscut的博客
06-12 4942
论文：《Non-local Neural Networks》 代码：https://github.com/facebookresearch/video-nonlocal-net 卷积操作只关注于局部的感受野，是典型的local operation，如果要增大神经元的感受野，一般是堆叠卷积层和池化层来实现，但是这样计算量和复杂度都会增加，并且feature map的尺寸会较小。为了突破，作者借鉴...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值