注意力机制SimAM代码（Pytorch）

最新推荐文章于 2024-10-09 11:27:01 发布
最新推荐文章于 2024-10-09 11:27:01 发布
阅读量4.5k 收藏 27
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_50997656/article/details/123778443
版权
介绍SimAM，一种用于卷积神经网络的简单且无需额外参数的注意力模块。该模块通过计算输入特征图的均值并利用sigmoid激活函数来增强重要特征，同时抑制不重要的特征，以此提高模型的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

论文链接：

http://proceedings.mlr.press/v139/yang21o.html

code: https://github.com/ZjjConan/SimAM

import torch
import torch.nn as nn


class simam_module(torch.nn.Module):
    def __init__(self, channels = None, e_lambda = 1e-4):
        super(simam_module, self).__init__()

        self.activaton = nn.Sigmoid()
        self.e_lambda = e_lambda

    def __repr__(self):
        s = self.__class__.__name__ + '('
        s += ('lambda=%f)' % self.e_lambda)
        return s

    @staticmethod
    def get_module_name():
        return "simam"

    def forward(self, x):

        b, c, h, w = x.size()
        
        n = w * h - 1

        x_minus_mu_square = (x - x.mean(dim=[2,3], keepdim=True)).pow(2)
        y = x_minus_mu_square / (4 * (x_minus_mu_square.sum(dim=[2,3], keepdim=True) / n + self.e_lambda)) + 0.5

        return x * self.activaton(y)

简单无参注意力 SimAM | SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks
YOLOv8项目贡献者
04-29 4392
简单无参注意力 SimAM
ResNet改进(16)：添加 SimAM轻量级注意力机制
2401_82355416的博客
04-03 197
1. SimAM轻量级注意力机制SimAM（Similarity-based Attention Module）是一种无参数的轻量级注意力机制，由论文《SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks》提出。1. SimAM的核心思想SimAM基于神经科学中的理论，通过模拟神经元之间的抑制机制来建立注意力模型。其核心思想是：为每个神经元分配一个能量值，表示该神经元与周围神经元的差异性。
pytorch代码实现注意力机制之SimAM
DM_zx的博客
08-15 1648
注意力机制之SimAM注意力
SimAM A Simple, Parameter-Free Attention Module for Convolutional Neural Networks【即插即用】
bettle_king的博客
03-31 1163
在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。
SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks论文阅读
hb_learing的博客
07-25 5604
本文提出一种概念简单且非常有效的注意力模块。不同于现有的通道/空域注意力模块，该模块无需额外参数为特征图推导出3D注意力权值。具体来说，本文基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性。本文进一步针对该能量函数推导出一种快速解析解并表明：该解析解仅需不超过10行代码即可实现。该模块的另一个优势在于：大部分操作均基于所定义的能量函数选择，避免了过多的结构调整。最后，本文在不同的任务上对所提注意力模块的有效性、灵活性进行验证。
SimAM：无参数的注意力机制
m0_63642362的博客
08-13 1万+
本文提出了一个用于卷积神经网络的概念简单但非常有效的注意模块SimAM。与现有的通道关注模块和空间关注模块相比，该模块无需向原始网络添加参数，而是在一层中推断特征图的3D关注权重
【YOLOv10改进 - 注意力机制】SimAM：轻量级注意力机制，解锁卷积神经网络新潜力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 1268
在本文中，我们提出了一种概念上简单但非常有效的卷积神经网络（ConvNets）注意力模块。与现有的通道注意力和空间注意力模块不同，我们的模块为特征图推断3D注意力权重，而无需向原始网络添加参数。具体来说，我们基于一些知名的神经科学理论，提出通过优化能量函数来找出每个神经元的重要性。我们进一步推导出一个快速的闭式解，并展示该解可以在不到十行代码中实现。该模块的另一个优点是大多数操作符是基于能量函数的解选择的，避免了大量结构调整的工作。
YOLOv5改进——添加SimAM注意力机制
2302_80099075的博客
10-09 1141
这样可以使注意力机制看到整个backbone部分的特征图，将具有全局视野，类似于一个小的transformer结构。注意：很多改进教程都是将代码直接复制到common.py文件，如果改进机制多了容易造成混乱。在models文件夹下新建modules文件夹，在modules文件夹下新建一个py文件。这里为simam.py。在models文件夹下，复制yolov5s.yaml文件，粘贴并重命名为yolov5s-simam.yaml。运行yolo.py，出现刚刚加入的SimAM注意力机制，说明加入成功。
深度学习PyTorch中基于SimAM注意力机制的图像分类Swin Transformer模型优化与实现
02-23
作者定义了一个自适应注意力机制——SimpleAdaptiveMethod（简称为SimAM），它不引入额外的参数或复杂的数学计算便能提升模型表现。接着实现了create_model函数，可以根据用户指定的模型型号创建预训练权重加载过的...
YOLOv5 改进 005：Backbone 添加 SimAM 注意力机制
m0_46496775的博客
08-07 1153
本文介绍了一种简单而有效的注意力模块，即简单注意力模块（SimAM）。SimAM 是一种无参数注意力模块，它能够在增强神经网络的表示能力的同时，而不会显著增加计算开销。在本文中，给大家带来的教程是在原来的主干网络最后添加 SimAM 注意力机制。
深度学习基于SimAM注意力机制的ViT模型改进：图像分类任务中的性能提升与实现代码
最新发布
05-13
内容概要：本文介绍了一个基于PyTorch实现的视觉Transformer（ViT）模型，并引入了SimAM注意力机制。SimAM模块通过计算输入特征图的空间维度均值和方差，调整每个位置的重要性，从而增强模型对关键区域的关注。ViT...
Attention(注意力机制代码)
07-16
Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的
SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks
weixin_50476352的博客
08-02 2734
论文名称：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks 作者：Lingxiao Yang, Ru-Yuan Zhang, Lida Li, Xiaohua Xie Code：https://github.com/ZjjConan/SimAM 介绍 本文提出了一种简单有效的3D注意力模块，基于著名的神经科学理论，提出了一种能量函数，并且推导出其快速解析解，能够为每一个神经元分配权重。主要.
即插即用篇 | YOLOv8 引入 SimAM 注意力机制 | 《SimAM: A Simple, Parameter-Free Attention Module for Convolutional》
weixin_39818775的博客
05-21 2101
SimAM（Simple Attention Module）是一种简单、无参数的注意力机制，可用于卷积神经网络（CNN）。与其他注意力机制不同，SimAM 不需要引入额外的参数，因此计算成本更低、部署更方便。SimAM 已被证明可以有效提高 CNN 的性能，特别是在目标检测任务中。YOLOv8 是 Ultralytics 公司于 2022 年 8 月推出的最新一代目标检测算法。YOLOv8 在 YOLOv5 的基础上进行了大量改进，包括引入了 SimAM 注意力机制。
SimAM：轻量级注意力机制，解锁卷积神经网络新潜力【原理讲解及代码！！！】
xiaoh_7的博客
03-25 1万+
SimAM 是一种轻量级、无参数的卷积神经网络注意力机制，它通过计算特征图的局部自相似性来生成注意力权重，无需引入任何额外参数，即可有效提升 CNN 的性能。
SimAM注意力机制解析
Phoenix_desi的博客
06-26 2794
与其在通道维度（第2和第3维度）上的均值之差的平方。即，它计算了每个像素值与通道内所有像素均值的差的平方。这样，你就可以保留原始张量的批量大小和通道数，同时获得每个图像（或每个通道的图像）的平均值。的平均值（注意这里减去了1，可能是为了避免中心像素的权重过高，但这也取决于SimAM的具体实现和目的）。（这是一个常见的四维张量形状，用于表示一批图像数据，其中每个图像有多个通道，如RGB）。在第2和第3维度（即高度和宽度维度）上的和，并保持这两个维度的维度数（由于。的操作实际上是在计算每个通道内所有像素的。
SimAM：无参Attention！助力分类/检测/分割涨点！
W1995S的博客
07-25 2万+
SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks 论文链接（已收录于ICML 2021）： http://proceedings.mlr.press/v139/yang21o.html code: https://github.com/ZjjConan/SimAM 本文是中山大学在注意力机制方面的尝试，从神经科学理论出发，构建了一种能量函数挖掘神经元重要性，并对此推导出了解析解以加速计算。通.
cbam模块
计算机视觉
12-05 778
https://github.com/fuyongXu/deeplearning_models_classifier_tutorial/blob/master/models/bam.py # -*-coding:utf-8-*- import math import torch import torch.nn as nn import torch.nn.functional as...
注意力机制SimAM(SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks)
热门推荐
handsomem
07-22 3万+
论文链接 转载 目录1、摘要：2、注意力机制比较：3、SimAM:4、实验结果 1、摘要： 在不增加原始网络参数的情况下，为特征图推断三维注意力权重 1、提出优化能量函数以发掘每个神经元的重要性 2、针对能量函数推导出一种快速解析解，不超过10行代码即可实现。 2、注意力机制比较：   不同注意模块的结构设计和参数比较。运算符有:空间(GAP)或通道平均池化(CAP)、空间(GMP)或通道最大池化(CMP)、沿空间维度计算的标准偏差(GSP)、标准卷积(C2D)或基于通道的卷积(C1D)、标准(FC)或通
Simam注意力机制
03-24
### SimAM注意力机制概述 SimAM是一种轻量级的注意力机制，在深度学习领域被广泛应用于图像分类、目标检测以及语义分割等任务中。它通过简单而高效的计算方式，增强了模型对重要特征的关注能力，同时减少了额外参数的数量和计算开销。 SimAM的核心思想在于利用局部区域内的相似性来衡量像素的重要性。具体而言，对于输入特征图中的每一个位置 \(i\)，其对应的响应值可以通过比较该位置与其他所有位置之间的差异得到。这种设计使得SimAM能够捕捉到全局上下文信息并增强显著特征的表现力[^1]。 以下是SimAM的具体实现方法： ### 实现细节 #### 数学表达 给定一个大小为\(H \times W \times C\) 的特征图 \(X\) ，SimAM定义如下公式用于计算每个通道上的权重矩阵： \[ E_{ij} = 1 - \exp(-\lVert X_i - M_j\rVert_2^2), \] 其中， - \(M_j=\frac{1}{N}\sum_k^{N}(X_k)\)，表示第j个窗口内所有元素均值； - \(E_{ij}\in[0,1]\), 表达的是当前点相对于邻域平均值偏离程度；当某一点越接近于周围邻居，则它的能量值会更趋近于零，反之则越大。 最终输出可以写成： \[ Y=X\times (1-E). \] #### PyTorch代码示例 下面提供了一个基于PyTorch框架下的SimAM模块实现版本: ```python import torch import torch.nn as nn class SimAM(nn.Module): def __init__(self, lambda_param=0.01): super(SimAM, self).__init__() self.lambda_param = lambda_param def forward(self, x): b, c, h, w = x.size() n = w * h - 1 # 计算空间维度上每一点与其余点的距离平方和 distance = (x.view(b,c,-1).unsqueeze(3) - x.view(b,c,-1).unsqueeze(2)).pow(2) # 排除自身距离项 mask = (torch.ones((h*w,h*w)) - torch.eye(h*w)).cuda().bool() distance = distance[:,:,:,mask].view(b,c,n) exp_distance = (-distance / (n ** .5 + 1e-8)).exp() norm_exp_dis = exp_distance.sum(dim=-1).clamp(min=self.lambda_param)**-.5 output = x * norm_exp_dis.unsqueeze(-1).unsqueeze(-1) return output ``` 此段代码实现了上述提到的能量函数及其后续操作过程，并将其封装成了可调用形式以便集成至其他神经网络结构当中去使用。 ### 性能优势 相比传统复杂的SENet或者CBAM等多分支架构的设计方案来说，SimAM仅需极少新增运算成本即可达到相近甚至超越的效果表现。因此非常适合资源受限环境下的移动端部署场景应用需求.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值