YOLOv8改进 | 注意力机制 | 添加FocusedLinearAttention助力YOLOv8实现有效涨点

已于 2024-03-11 07:36:28 修改
阅读量6.7k 收藏 45
点赞数 57
CC 4.0 BY-SA版权
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 深度学习 python 人工智能 pytorch 目标检测 算法
于 2023-11-25 12:56:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/134406160
本文介绍了Focused Linear Attention，一种改进的线性注意力机制，旨在提高YOLOv8的效率和检测精度。通过与Softmax注意力的对比，说明了线性注意力的效率优势，并提出了Focused Linear Attention以解决聚焦能力和特征多样性问题。实验表明，该机制在保持或略微增加计算量的情况下，能提高Transformer架构的图像识别准确率。

一、本文介绍

本文给大家带来的改进机制是Focused Linear Attention（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测精度)，旨在提高效率和表现力。其解决了两个在传统线性注意力方法中存在的问题：聚焦能力和特征多样性。这种方法通过一个高效的映射函数和秩恢复模块来提高计算效率和性能，使其在处理视觉任务时更加高效和有效。简言之，Focused Linear Attention是对传统线性注意力方法的一种重要改进，提高了模型的聚焦能力和特征表达的多样性。通过本文你能够了解到：Focused Linear Attention的基本原理和框架，能够在你自己的网络结构中进行添加(需要注意的是一个FLAGFLOPs从8.9涨到了9.1)。

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

 专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备

实验效果对比：放在了第三章，有对比试验供大家参考

目录

一、本文介绍

二、Focused Linear Attention的机制原理

2.1 Softmax和线性注意力机制的对比

2.2 Focused Linear Attention的提出

2.3 效果对比

三、实验效果对比

四、FocusedLinearAttention代码

五、添加Focused Linear Attention到模型中

5.1 Focused Linear Attention的添加教程

5.2 Focused Linear Attention的yaml文件和训练截图

5.2.1 Focused Linear Attention的yaml文件

5.2.2 Focused Linear Attention的训练过程截图 

六、全文总结 

二、Focused Linear Attention的机制原理

论文地址：官方论文地址

代码地址：官方代码地址

了解本专栏 订阅专栏 解锁全文
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 7万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
（17）目标检测算法之 YOLOv8 算法改进详细解析
yohnyang的博客
01-27 1万+
目标检测算法之 YOLOv8 算法改进详细解析
YOLOv8改进实战：轻量级下采样模块ContextGuided——在降维同时捕获上下文，小目标AP提升3.8%（附完整适配代码+涨点验证）
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
10-13 893
本文提出了一种基于上下文引导下采样的YOLOv8改进方案，通过轻量级设计解决传统下采样方法丢失小目标细节和上下文关联的问题。该方案包含三个关键步骤：局部特征提取（深度可分离卷积）、上下文引导模块（全局语义加权）和通道扩展，在仅增加2.3%参数量的情况下，实现了mAP提升2.5%、小目标AP提升3.8%的效果。相比其他下采样方法，ContextGuided在精度和速度间取得了更好平衡。文章详细介绍了模块实现原理和代码适配步骤，为YOLOv8的轻量级改进提供了有效方案。
YOLOv8改进 | Conv篇 | AKConv轻量级架构下的高效检测（既轻量又提点）
Snu77的博客
12-01 4万+
本文给大家带来的改进内容是AKConv（可变核卷积）是一种创新的卷积神经网络操作，它旨在解决标准卷积操作中的固有缺陷（采样形状是固定的），AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量的参数（如1, 2, 3, 4, 5, 6, 7等）来提取特征，这在标准卷积和可变形卷积中并未实现​​。(同时我修改了AKConv在训练到最后一个轮次报错和版本警告的问题RuntimeError: CUDA error: device-side assert triggered)
《YOLOv8改进有效涨点》专栏介绍 & 专栏目录 | 目前已有110+篇内容，内含各种Head检测头、损失函数Loss、Backbone、Neck、NMS等创新点改进
kay_545
06-17 7253
yolov8改进机制，上百种创新技巧详细介绍
【YOLOv8改进 - 注意力机制】Focused Linear Attention :全新的聚焦线性注意力模块
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-16 1383
自注意力的二次计算复杂性在将Transformer模型应用于视觉任务时一直是一个持久的挑战。相比之下，线性注意力通过精心设计的映射函数来近似Softmax操作，提供了更高效的替代方案，其计算复杂性为线性。然而，目前的线性注意力方法要么遭受显著的性能下降，要么因映射函数引入了额外的计算开销。在本文中，我们提出了一种新颖的聚焦线性注意力模块，以实现高效率和高表现力。具体来说，我们首先从聚焦能力和特征多样性两个角度分析了线性注意力性能下降的因素。
YOLOv5改进 | 注意力篇 | 全新的FocusedLinearAttention聚焦线性注意力（附代码 + 修改教程）
Snu77的博客
12-29 5765
本文给大家带来的改进机制是Focused Linear Attention（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测精度)，旨在提高效率和表现力。其解决了两个在传统线性注意力方法中存在的问题：聚焦能力和特征多样性。这种方法通过一个高效的映射函数和秩恢复模块来提高计算效率和性能，使其在处理视觉任务时更加高效和有效。简言之，Focused Linear Attention是对传统线性注意力方法的一种重要改进，提高了模型的聚焦能力和特
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 17万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv11改进 | 添加注意力机制篇 | 添加FocusedLinearAttention助力yolov11实现有效涨点（含二次创新C2PSA机制）
Snu77的博客
10-20 2861
本文给大家带来的改进机制是（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测精度)，旨在提高效率和表现力。其解决了两个在传统线性注意力方法中存在的问题：聚焦能力和特征多样性。这种方法通过一个高效的映射函数和秩恢复模块来提高计算效率和性能，使其在处理视觉任务时更加高效和有效。简言之，Focused Linear Attention是对传统线性注意力方法的一种重要改进，提高了模型的聚焦能力和特征表达的多样性。通过本文你能够了解到。
ICCV2023：FLatten Transformer: Vision Transformer using Focused Linear Attention
asuiyu的博客
03-01 1838
self-attention 的二次计算复杂度一直是将Transform模型应用于视觉任务时面临的一个持续挑战。另一方面，线性注意力通过精心设计的映射函数逼近Softmax操作，以其线性复杂性提供了一种更有效的替代方案。然而，当前的线性注意力方法要么遭受显着的性能下降，要么引入了映射函数的额外计算开销。在本文中，我们提出了一种新颖的聚焦线性注意力模块，以实现高效率和表现力。具体而言，我们首先从两个视角分析了导致线性注意力性能下降的因素：聚焦能力和特征多样性。为了克服这些限制，我们引入了一个简单而有效的映射函
YOLOv8 改进算法，添加注意力机制等
QQ_1309399183的博客
07-13 903
YOLOv8 改进算法，添加注意力机制等
YOLOv8改进
m0_70366090的博客
03-28 269
SPPF：SPP的变体，在Backbone的最后一层作为主干网络的池化层对输入特征图进行大尺度的特征提取，由于SPPF结构主要是池化操作，对特征图空间降维，故而这一层主要提取细粒度信息，并为后续Neck部分减少计算开销的作用。增加一个平均池化支路来补强该层对全局信息的捕捉能力，同时可以起到对特征图减噪的作用(平均池化的特点)
YOLOV8改进：LSKA注意力机制改进SPPF模块_sppf_lska模块
2401_84010107的博客
04-13 2085
与标准的LKA设计相比，所提出的分解使得可以在注意力模块中直接使用具有大卷积核的深度卷积层，无需额外的块。作者还发现，随着卷积核大小的增加，所提出的LSKA设计更倾向于将VAN偏向物体的形状而不是纹理。总的来说，LSKA注意力机制通过利用大且可分离的卷积核以及空间扩张卷积来捕捉图像的广泛上下文信息，生成注意力图，并通过这个注意力图加权原始特征，以此增强网络对于重要特征的关注度，提高模型的性能。与标准的LKA设计相比，所提出的分解使得可以在注意力模块中直接使用具有大卷积核的深度卷积层，无需额外的块。
YOLOv8改进模块之C2f_Bottleneck_BoT
Lijie_yzm的博客
11-29 3129
针对YOLOv8的梯度分流模块C2f，我们在其最后一层的bottleneck之后添加了Bottleneck Transformer(BoT)，从而得到了C2f_Bottleneck_BoT模块，并且将该模块替换掉YOLOv8颈部网络中的所有C2f模块。经过实验表明，改进后的模型均值平均精度有所增加。
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
羲洋的博客
11-06 5486
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
YOLO算法改进3【中阶改进篇】：添加HorNet卷积模块
梦在黎明破晓时的博客
10-31 940
HorNet是在Swin transformer结构的基础上，结合大核思想提出的新的网络结构模块，使用该模块，作者在ImageNet-1k数据集上做分类，分割以及检测任务都在当时达到了SOTA的效果，是一个能有效增强各种网络的性能而不会引入太大参数量的一种改进思路，已经有很多博主提出将该模块用于yolo系列网络中，以期望达到更好的效果。源码地址： https://github.com/raoyongming/HorNet.论文地址：https://arxiv.org/pdf/2207.14284.pdf。
YOLOV8改进——添加ShuffleAttention注意力机制
qq_62047193的博客
06-23 784
在ultralytics/cfg/datasets/ 下新建data.yaml。
yolov8改进模型
m0_37302966的博客
05-30 1921
yolov8改进模型
iAFF模块助力YOLOv8提升复杂场景目标检测性能
接着，详细阐述了iAFF的核心思想，包括多尺度通道注意力机制和迭代应用的特点，通过动态加权融合和局部与全局信息的结合，实现了更有效的特征融合。随后，文章逐步指导读者如何将iAFF模块融入YOLOv8，包括创建新模块...
评论 34
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值