mmdetection(3):Non-local Neural Networks

文章分析了CNN固定尺寸卷积操作的局限性,引出DCN通过增加偏移量改进,还介绍了更简单粗暴的Non Local方法。阐述了Non Local中特征提取的原理,包括f、g的含义及计算方式,最后提及代码实现,如1x1卷积提取特征等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这是篇很有意思的文章,为什么呢,我们来分析一下,
CNN是固定尺寸,大小,位置的卷积操作,但是很多情况下,图像的信息并不是固定尺寸的,然后dcn提出了,参见下文。
https://blog.youkuaiyun.com/u014119694/article/details/93210130
咋搞的呢,就是增加偏移量啊,我还是3x3的卷积,但是取不同位置,给他增加个偏移,是不是就很优秀啊,nonono,有更简单并且粗暴的方法,那就是non local
在这里插入图片描述
请看,g表示原图像素点的特征,f表示位置关系,相当于f表示图中的连接关系,只要点i和j有关系,其f必定很大,然后再乘个当前点的特征,相加,就是改点卷积后的特征,其实这里的f不仅仅表示是否相连,还表示怎么连的,乘上g就表示j点的信息,

ok,so easy ,这样是不是提取的特征更强烈啊。
ok,具体块吐下,w还是卷积操作,只不过卷积的是y,y这里就表示上文中得到的各个点相结合的信息。然后再来个x,表示残差。
在这里插入图片描述
在这里插入图片描述
图示也很清楚,这里唯一要解决的就是怎么计算f,原文中定义了几种不同的f,图中theta和phi的结合就表示f,然后乘个g,各个矩阵的维度很清晰。

ok,最后还是要上代码了

  1. 全是1x1的没什么好说的,就是提取特征,然后计算,这里不再用3x3的原因就是我已经获取了周围的信息,还用3x3的纯属浪费时间。
self.g = ConvModule(
            self.in_channels,
            self.inter_channels,
            kernel_size=1,
            activation=None)
        self.theta = ConvModule(
            self.in_channels,
            self.inter_channels,
            kernel_size=1,
            activation=None)
        self.phi = ConvModule(
            self.in_channels,
            self.inter_channels,
            kernel_size=1,
            activation=None)
        self.conv_out = ConvModule(
            self.inter_channels,
            self.in_channels,
            kernel_size=1,
            conv_cfg=conv_cfg,
            norm_cfg=norm_cfg,
            activation=None)

前向操作。首先各自1x1卷积,然后把reshape一下,使theta和phi能相互操作,然后pairwise_func表示f函数,这里不再指出,最后乘个g就得到y。

def forward(self, x):
        n, _, h, w = x.shape

        # g_x: [N, HxW, C]
        g_x = self.g(x).view(n, self.inter_channels, -1)
        g_x = g_x.permute(0, 2, 1)

        # theta_x: [N, HxW, C]
        theta_x = self.theta(x).view(n, self.inter_channels, -1)
        theta_x = theta_x.permute(0, 2, 1)

        # phi_x: [N, C, HxW]
        phi_x = self.phi(x).view(n, self.inter_channels, -1)

        pairwise_func = getattr(self, self.mode)
        # pairwise_weight: [N, HxW, HxW]
        pairwise_weight = pairwise_func(theta_x, phi_x)

        # y: [N, HxW, C]
        y = torch.matmul(pairwise_weight, g_x)
        # y: [N, C, H, W]
        y = y.permute(0, 2, 1).reshape(n, self.inter_channels, h, w)

        output = x + self.conv_out(y)

        return output
### Non-local Neural Networks 的基本原理 Non-local Neural Networks 是一种用于捕捉图像或序列数据中全局依赖关系的方法。其核心思想来源于非局部均值方法[^1],并进一步扩展到神经网络领域。以下是对其基本原理的详细介绍: #### 1. 非局部操作的核心概念 Non-local 操作旨在捕获输入信号中的远距离交互关系。它通过计算任意两个位置之间的响应来实现这一点。具体来说,对于给定的位置 \(i\) 和其他所有位置 \(j\),Non-local 模块会基于它们的关系权重调整该位置的特征向量。 这一过程可以被形式化描述为以下公式: \[ y_i = \frac{1}{C(x)} \sum_{j} f(x_i, x_j) g(x_j), \] 其中, - \(f(\cdot)\) 表示一对位置之间关系的函数; - \(g(\cdot)\) 表示对另一个位置特征的变换; - \(C(x)\) 是归一化项,通常取为常数或者由 \(f(\cdot)\) 定义的总和。 这种机制允许模型不仅关注局部邻域内的信息,还能够利用更广泛的上下文信息[^3]。 #### 2. 关系推理模块的影响 Santoro 等人在研究中提出了一个简单的神经网络模块用于关系推理[^2]。他们的工作表明,在处理复杂场景理解任务时,显式建模对象间的关系是非常重要的。这启发了后续关于如何设计有效的关系感知架构的研究方向之一就是引入 non-local 结构作为基础组件。 #### 3. 构造 Non-local 模块 为了便于集成进现有各种类型的深度学习框架之中,论文给出了具体的实现方式——即所谓的 “non-local block”。这个构建单元内部包含了前面提及过的 non-local 运算逻辑,并且可以通过堆叠多个这样的 blocks 来增强整个系统的表达能力[^4]。 下面是一个 Python 实现的例子,展示了如何在一个标准 CNN 层之后加入 Non-local Block: ```python import torch.nn as nn import torch class NonLocalBlock(nn.Module): def __init__(self, in_channels, inter_channels=None): super(NonLocalBlock, self).__init__() self.in_channels = in_channels self.inter_channels = inter_channels if self.inter_channels is None: self.inter_channels = in_channels // 2 conv_nd = nn.Conv2d bn = nn.BatchNorm2d self.g = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.W = conv_nd(in_channels=self.inter_channels, out_channels=self.in_channels, kernel_size=1) self.theta = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.phi = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.bn = bn(self.in_channels) def forward(self, x): batch_size = x.size(0) g_x = self.g(x).view(batch_size, self.inter_channels, -1) g_x = g_x.permute(0, 2, 1) theta_x = self.theta(x).view(batch_size, self.inter_channels, -1) theta_x = theta_x.permute(0, 2, 1) phi_x = self.phi(x).view(batch_size, self.inter_channels, -1) f = torch.matmul(theta_x, phi_x) f_div_C = F.softmax(f, dim=-1) y = torch.matmul(f_div_C, g_x) y = y.permute(0, 2, 1).contiguous() y = y.view(batch_size, self.inter_channels, *x.size()[2:]) W_y = self.W(y) z = W_y + x return z ``` 此代码片段定义了一个通用版本的 Non-local Block 类型,适用于二维空间上的张量运算(例如图片)。注意这里采用了嵌入高斯相似度衡量法来进行注意力分配。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值