YOLOv12改进策略【Conv和Transformer】| CVPR-2023 BiFormer 稀疏自注意力，减少内存占用（二次改进A2C2f）

已于 2025-03-16 15:13:20 修改
阅读量294 收藏 1
点赞数 4
分类专栏： YOLOv12改进专栏 文章标签： transformer 深度学习 目标检测 YOLOv12
于 2025-03-06 08:39:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42591591/article/details/146052980
版权

一、本文介绍

本文记录的是利用BiFormer双级路由注意力机制优化YOLOv12的目标检测网络模型。传统的多头自注意力（MHSA）复杂度高，随着输入空间分辨率增加，计算量呈平方增长，导致严重的可扩展性问题。而本文所使用的BiFormer在获取全局信息的同时，通过区域到区域路由和令牌到令牌注意力的合理设计，减少了不必要的计算量。

专栏目录：YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv12改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
YOLOv12改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 StarNet，超级精简高效的轻量化模块
Limiiiing的博客
03-06 317
本文记录的是基于StarNet的YOLOv12轻量化改进方法研究。StarNet设计简洁，没有复杂的设计和精细调整的超参数，仅是一个 4 阶段的分层架构。并且其中能够在低维空间计算的同时考虑极高维的特征这一特性，进而提高模型精度。本文在替换骨干网络中配置了原论文中的starnet_s1starnet_s2starnet_s3和starnet_s4七种模型，以满足不同的需求。
YOLOv12改进策略【Conv和Transformer】| CVPR-2022 Deformable Attention Transformer 可变形注意力 动态关注目标区域（二次改进A2C2f）
Limiiiing的博客
03-07 80
本文记录的是利用模块优化的目标检测网络模型。全称为，其作用在于通过可变形注意力机制，同时包含了数据依赖的注意力模式，克服了常见注意力方法存在的内存计算成本高、受无关区域影响以及数据不可知等问题。相比一些只提供固定注意力模式的方法，能更好地聚焦于相关区域并捕捉更有信息的特征。Vision Transformer with Deformable Attention​+ϕ(B^;R))v~(m)，其中还考虑了相对位置偏移RRR和变形点提供的更强大的相对位置偏差ϕ(B^;R)\phi(\hat{B} ; R)ϕ(B
【CVPR 2023】BiFormer: 具有双层路由注意力的ViT
m0_63642362的博客
06-26 4320
BiFormer: Vision Transformer with Bi-Level Routing Attention论文浅析
YOLOv12最新创新改进系列：主干网络改进-YOLOv12+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，共同优化训练速度和参数效率，全方位提升模型检测性能！！
最新发布
B站 Ai学术叫叫兽的文案地
04-08 1249
YOLOv12最新创新改进系列：主干网络改进-YOLOv12+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，共同优化训练速度和参数效率，全方位提升模型检测性能！！
CVPR2023：BiFormer阅读笔记
记录
05-07 1万+
作者提出了一种新的动态稀疏注意力机制，通过双层路由来实现更灵活的算力分配，让每个Query处理语义上最相关的K-V对的一小部分。在此基础上，提出的BiFormer具有良好的性能和较高的计算效率。
BiFormer实战：使用BiFormer实现图像分类任务（一）
AI浩
05-31 2121
论文翻译：https://wanghao.blog.youkuaiyun.com/article/details/130186102官方源码：https://github.com/rayleizhu/BiFormerBiFormer是今年提出的双层路由注意力机制，利用稀疏性来节省计算和内存，同时只涉及gpu友好的密集矩阵乘法。
【CVPR代码复现】BiFormer图像分类实战教程
weixin_62371528的博客
03-26 3384
包括BiFormer介绍 1.论文介绍 2.核心创新点 3.应用效果，环境配置，训练方法和测试的结果，报错调bug
BiFormer实战：使用BiFormer实现图像分类任务
05-03
BiFormer实战：使用BiFormer实现图像分类任务
YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
03-10 5350
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论
《YOLOv8改进实战专栏》专栏介绍 & 专栏目录 《提供 YOLOv8-Magic 私域代码框架/本人7次贡献过YOLOv8官方项目》
热门推荐
YOLOv8项目贡献者
06-30 8万+
《YOLOv8改进实战专栏》🏅🏅🏅专栏介绍 & 专栏目录
YOLOv12改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR ConvNeXt V2 （附网络详解和完整配置步骤）
Limiiiing的博客
03-05 732
是一种全新的ConvNet模型家族，旨在提升纯卷积神经网络在各类下游任务中的性能。它在模型结构设计上有独特的出发点，结构原理涉及多个创新组件，并且在性能上展现出显著优势。
芒果YOLOv5改进21：主干Backbone篇之BiFormer：顶会CVPR2023即插即用，小目标检测涨点必备，首发原创改进，基于动态查询感知的稀疏注意力机制、构建高效金字塔网络架构，打造高精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
03-24 1万+
YOLO代码改进实践｜改进最新CVPR2023主干系列BiFormer：即插即用，小目标检测涨点必备，基于动态查询感知的稀疏注意力机制
BiFormer实战：使用BiFormer实现图像分类任务（二）
AI浩
06-09 1358
训练部分。
论文阅读—— BiFormer(cvpr2023)
weixin_43575791的博客
11-04 1294
本文的想法：主要想法是先在区域级别粗略的过滤掉和查询不相关的键值对，这样留下一小部分topk选好的区域routed regions，然后在这些区域上使用细粒度token到token的细粒度注意力机制。但是根据VIT和DETR的可视化结果，不同语义区域的查询对应不同的键值对。1、要解决的问题：transformers可以捕捉长期依赖，但是它具有很高的计算复杂性，并占用大量内存。3、所以作者的方法是动态的、查询相关的query-aware，找到最有相关性的键值对。，I的第i行是最相关的k个区域的索引。
YOLOv10改进 | Conv篇 | YOLOv10引入AKConv（轻量）
tsg6698的博客
06-11 5942
很明显，不同数据集和不同位置的目标的形状和大小是不同的。针对上述问题，本工作探索了可改变核卷积（AKConv），它赋予卷积核任意数量的参数和任意采样形状，为网络开销和性能之间的权衡提供更丰富的选择。简单介绍:本文给大家带来的改进内容是AKConv是一种创新的变核卷积，它旨在解决标准卷积操作么中的固有缺陷(采样形状是固定的)，AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量的参数(如1,2,3,4,5,6,7等)来提取特征，这在标准卷积和可变形卷积中并未实现。
BiFormer:基于双层路由注意力的视觉Transformer
AI浩
04-19 4899
Transformer具有许多适合构建强大的数据驱动模型的属性。首先，它能够捕捉数据中的长程依赖关系[29,42]。其次，它几乎没有归纳偏差，从而使模型更灵活地拟合成吨的[15]数据。最后但并非最不重要的是，它具有高度的并行性，有利于大型模型的训练和推理[13,33,36,42]。因此，transformer不仅彻底改变了自然语言处理，而且在计算机视觉方面取得了非常有希望的进展。在过去的两年中，计算机视觉社区见证了视觉transformer的爆炸式增长[1,14,15,29,44,46]。
改进YOLO系列 | CVPR2023最新注意力 | BiFormer：视觉变换器与双层路由注意力
YOLOv8项目贡献者
04-24 5232
🍀🍀🍀CVPR2023最新注意力 | BiFormer：视觉变换器与双层路由注意力
YOLOv8最新改进系列：主干网络改进-YOLOv8+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，提升模型检测效果！
B站 Ai学术叫叫兽的文案地
09-14 5681
YOLOv8最新改进系列：主干网络改进-YOLOv8+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，提升模型检测效果！
YOLOv11改进-注意力-引入双层路由注意力机制（Biformer）解决小目标、遮挡等问题
qq_64693987的博客
10-17 4619
BiFormer 旨在通过双层路由注意力机制（Bi-level Routing Attention, BRA）实现动态、查询感知的稀疏注意力。双层路由注意力机制区域级路由：首先在粗粒度的区域级别过滤掉大部分不相关的键值对，仅保留少量相关区域。细粒度注意力：在保留的区域内进行细粒度的token-to-token注意力计算。Biformer的实现步骤区域划分和输入投影：将输入特征图划分为多个不重叠的区域，并通过线性投影生成查询、键和值张量。区域间路由。
YOLOv8改进 | 注意力机制 | 添加Deformable-LKA
03-12
### 将注意力机制与 Deformable-LKA 集成至 YOLOv8 #### 1. 注意力机制简介 注意力机制允许模型聚焦于输入数据的关键部分，从而提高特定任务的表现。对于目标检测而言，这有助于更好地捕捉物体边界和细节。 #### 2. Deformable-LKA 组件解析 Deformable-LKA 是一种结合了大卷积核的感受野优势与可变形卷积灵活性的新型注意力模块[^3]。它能够动态调整卷积操作的位置偏移量，使得网络可以灵活应对不同尺度的目标对象及其变化形态。 #### 3. 在 YOLOv8 中集成 Deformable-LKA 为了在 YOLOv8 上实现该功能，需按照如下方式修改架构： - **替换原有层**：将原有的标准卷积层替换成带有 Deformable-LKA 的版本。 - **位置选择**： - 对于 C2f 层次结构中的某些中间特征图应用此机制； - 或者是在最终预测头部之前加入额外的一层或多层含有 Deformable-LKA 的组件。 ```python from yolov8.models import * import torch.nn as nn class DeformConvWithLKA(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=7, stride=1, padding=3): super().__init__() self.offset_conv = nn.Conv2d(in_channels, 2 * (kernel_size**2), kernel_size=kernel_size, stride=stride, padding=padding) self.deform_conv = ModulatedDeformConvPack( in_channels=in_channels, out_channels=out_channels, kernel_size=(kernel_size,kernel_size), stride=stride, padding=padding, dilation=1, deform_groups=1) def forward(self,x): offset=self.offset_conv(x).clamp(-max_offset,max_offset) output=self.deform_conv(x,offset) return output ``` 上述代码展示了如何创建一个基于 PyTorch 的 `ModulatedDeformConvPack` 来构建具有 LKA 功能的新类 `DeformConvWithLKA`[^4]。 #### 4. 训练配置调整 当引入新的组件后，可能还需要相应地调整超参数设置，比如学习率、批量大小等，以确保最佳收敛性和泛化能力。 #### 5. 性能评估 经过这些改动之后，应该使用合适的指标（如 mAP）来衡量改进前后系统的差异，并通过对比实验验证所做更改的有效性[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值