YOLOv8改进 - 注意力篇 - 引入NAM注意力机制

最新推荐文章于 2025-05-13 15:57:36 发布
最新推荐文章于 2025-05-13 15:57:36 发布
阅读量1.5k 收藏 25
点赞数 23
分类专栏： YOLOv8分析与改进 文章标签： YOLO 深度学习 人工智能 计算机视觉 python 目标检测 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2301_79619145/article/details/143280223
版权

#YOLO# #目标检测# #计算机视觉#

一、本文介绍

作为入门性篇章，这里介绍了NAM注意力在YOLOv8中的使用。包含NAM原理分析，NAM的代码、NAM的使用方法、以及添加以后的yaml文件及运行记录。

二、NAM原理分析

NAM官方论文地址：文章

NAM官方代码地址：代码

​

NAM注意力机制：NAM作为一种高效、轻量的注意力机制。采用了CBAM的模块集成并重设了通道和空间注意子模块。这是一种基于归一化的注意力，可降低不太显著的特征的权重，应用了稀疏的权重惩罚，使权重在计算上保持良好的性能、高效。

.

三、相关代码：

NAM注意力的代码，如下：

最低0.47元/天 解锁文章
YOLO11改进|注意力机制篇|引入NAM注意力机制
A1983Z的博客
10-10 1596
YOLO11中添加NAM注意力机制
【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 597
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
【手把手缝模块】YOLOv8添加注意力机制模块
热门推荐
dont worry about it的博客
05-20 6万+
【手把手缝模块】YOLOv8添加注意力机制模块，添加这个注意力机制模块，让 yolov8 可以找到它，一般的，添加自定义模块，就在conv.py里面添加代码就行（CBAM模块yolov8自带的，所以这里没有这个步骤）
YOLOv8的改进的方法
最新发布
QQ67658008的博客
05-13 810
yolov8改进针对YOLOv8的改进，以下是十个具体的改进方法和简要描述。每个改进都提供了如何集成到YOLOv8项目的指导步骤。
NAM: Normalization-based Attention Module，一种新的注意力计算方式，无需额外的参数...
AI公园
12-20 5500
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”导读本文介绍了一种新的计算注意力的方式，相比于之前的注意力机制，无需额外的全连接，卷积等额外的计算和参数，直接使用BN中的缩放因此...
引入NAMAttention注意力机制
huizi1997的博客
04-24 965
作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv7的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。
改进YOLOv5、YOLOv8系列：20.添加GAMAttention注意力机制
包括YOLOv5、YOLOv7、YOLOv8等模型改进
08-24 1万+
目标检测科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
【YOLOv8改进 - 注意力机制】DoubleAttention: 双重注意力机制，全局特征聚合和分配
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-16 1581
学习捕捉远程关系是图像/视频识别的基础。现有的CNN模型通常依赖于增加深度来建模这种关系，这效率极低。在这项工作中，我们提出了“双重注意力块”，这是一个新颖的组件，它从输入图像/视频的整个时空空间聚合和传播有用的全局特征，使后续的卷积层能够高效地访问整个空间的特征。该组件设计了两个步骤的双重注意力机制，第一步通过二阶注意力池化将整个空间的特征聚集到一个紧凑集，第二步通过另一个注意力自适应地选择和分配特征到每个位置。提出的双重注意力块易于采用，可以方便地插入现有的深度神经网络中。
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 1905
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
【YOLOv8改进 - 注意力机制】RCS-OSA :减少通道的空间对象注意力，高效且涨点
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-16 1242
摘要. 凭借出色的速度和准确性平衡，最前沿的YOLO框架已经成为目标检测最有效的算法之一。然而，使用YOLO网络进行脑肿瘤检测的性能鲜有研究。我们提出了一种基于通道Shuffle重参数化卷积的YOLO新架构（RCS-YOLO）。我们介绍了RCS和RCS的一次性聚合（RCS-OSA），将特征级联和计算效率结合起来，以提取更丰富的信息并减少时间消耗。在脑肿瘤数据集Br35H上的实验结果表明，所提出的模型在速度和准确性上超越了YOLOv6、YOLOv7和YOLOv8。
YOLOv10涨点改进：自研检测头 | 独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
06-13 1963
独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
改进YOLO系列：添加NAMAttention注意力机制
blotemj.blog.youkuaiyun.com
08-02 523
NAMAttention注意力机制通过抑制较不显著的权重和特征，使模型在保持相似性能的同时变得更加高效。它结合了通道注意力和空间注意力，利用批量归一化（Batch Normalization）的缩放因子来衡量通道和像素的重要性，从而实现对特征的有效识别和利用。
论文阅读NAM:Normalization-based Attention Module
m0_73832962的博客
02-26 2051
卷积块注意力模块（CBAM） (Woo et al. [2018]) 提供了一种按顺序嵌入通道和空间注意力子模块的解决方案，为了避免忽视跨维度交互，三重注意力模块（TAM）) (Misra et al. [2021]) 通过旋转特征图来考虑维度相关性。因此，我们的目标是通过利用训练的模型权重的方差测量来突出显著特征。在这项工作中，我们提出了一种新的基于归一化的注意力模块（NAM），它抑制了不太显著的权重。与Resnet和Mobilenet上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。
【YOLOv11改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-21 1522
【YOLOv11改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
YOLOv5、v7改进之三十六：融入NAM注意力机制
m0_70388905的博客
10-18 4647
YOLOv5、v7改进之三十五：引入NAM注意力机制。关注免费领取深度学习算法学习资料！
深度学习论文: NAM: Normalization-based Attention Module及其PyTorch实现
mingo_敏
12-01 4056
深度学习论文: NAM: Normalization-based Attention Module及其PyTorch实现 NAM: Normalization-based Attention Module PDF: https://arxiv.org/pdf/2111.12419.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/shanglianlm0525/PyTorch-N
ResNet改进(12)：添加 NAMAttention 轻量级注意力机制
2401_82355416的博客
03-25 361
NAMAttention (Normalization-based Attention Module) 是一种基于归一化的轻量级注意力机制，它通过利用通道和空间维度上的归一化权重来增强特征表示。最终的特征图通过通道和空间注意力权重共同调整：Y = X ⊙ W_c ⊙ W_s。其中 γ_BN 和 β_BN 是BN层的可学习参数，σ 是sigmoid函数。计算通道权重：W_c = σ(γ_BN * X_BN + β_BN)计算空间权重：W_s = σ(γ_GN * X_GN + β_GN)
YOLOv9全网最新改进系列：YOLOv9完美融合标准化的注意力模块NAM，高效且轻量级的归一化注意力机制，助力目标检测再上新台阶！
B站 Ai学术叫叫兽的文案地
05-08 1326
YOLOv9全网最新改进系列：YOLOv9完美融合标准化的注意力模块NAM，高效且轻量级的归一化注意力机制，助力目标检测再上新台阶！
2021NIPS | 即插即用,标准化注意力机制NAM
u011447962的博客
12-01 1万+
NAM: Normalization-based Attention Module paper:https://arxiv.org/pdf/2111.12419.pdf code:https://github.com/Christian-lyc/NAM 摘要 注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，...
YOLOv5添加NAM注意力机制
07-27
YOLOv5添加NAM（Non-local Attention Module）注意力机制可以提高物体检测的性能和精确度。下面是一种可能的实现方法： 1. 在YOLOv5的网络结构中，找到适合插入NAM的位置。通常，可以在主干特征提取网络的某个阶段进行插入，比如在卷积层或者残差块之后。 2. 在插入位置之后，引入NAM模块。NAM模块的目标是引入全局上下文信息，并且使不同位置的特征之间能够相互交流。NAM模块通常包括以下几个步骤： a. 先将输入特征图进行三次降维操作，分别得到三个降维特征图（query、key、value），用于计算注意力权重。 b. 将query、key特征图进行相乘，得到注意力权重图。 c. 注意力权重图与value特征图相乘，得到加权特征图。 d. 将加权特征图与输入特征图进行残差连接，得到输出特征图。 3. 在YOLOv5的训练过程中，需要通过反向传播来调整NAM模块内部的参数，以使其能够学习到适合当前任务的注意力权重。 需要注意的是，以上只是一种可能的实现方法，具体的细节和参数设置可能需要根据具体的应用场景和实验结果进行调整。此外，添加NAM注意力机制可能会增加模型的计算量和复杂度，因此在实际应用中需要权衡性能和效果之间的平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值