YOLOv11改进 | 主干/Backbone篇 | 2024最新重写星辰StarNet助力yolov11有效涨点（yolov11全系列轻量化）

已于 2024-12-16 08:34:02 修改
阅读量3.3k 收藏 23
点赞数 12
分类专栏： YOLOv11有效涨点专栏 文章标签： YOLO 计算机视觉 人工智能 python 深度学习 目标检测 YOLOv11
于 2024-12-16 00:37:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/144387551
版权

一、本文介绍

本文给大家带来的最新改进机制是Rewrite the Stars，其探讨了“星操作”（即元素级的乘法）在网络设计中的潜力。文章提出，星操作能够将输入映射到高维的非线性特征空间中，而不需要增加网络的宽度。这个过程类似于机器学习中的核技巧，但通过保持网络的紧凑性和低延迟实现了高效的计算。本文将其添加到YOLOv11中并且根据yolov11的N、S、M、L、X进行缩放和扩张，yolov11全系列可实现轻量化。

专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

一、本文介绍

二、原理介绍

1. 引言 (Introduction)

2. 星操作 (Star Operation)

3. StarNet 模型

4. 多层星操作 (Multi-layer Star Operation)

5. 特殊情况 (Special Cases)

6. 实验验证 (Empirical Validation)

7. 结论 (Conclusion)

三、核心代码

四、本文机制添加教程

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七

4.8 修改八

4.9 修改九

4.10 修改十

五、StarNet的yaml文件

5.1UniRepLknet的yaml文件版本1

5.2 训练文件

六、成功运行记录 

了解本专栏 订阅专栏 解锁全文
YOLOv8独家改进：backbone改进 | 微软新作StarNet：超强轻量级Backbone | CVPR 2024
05-14 3242
star operation（元素乘法）在无需加宽网络下，将输入映射到高维非线性特征空间的能力
【YOLOv8改进- Backbone主干】YOLOv8更换主干网络之ConvNexts，纯卷积神经网络，更快更准，，降低参数量！
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-15 2328
视觉识别的“咆哮20年代”开始于视觉Transformer（ViTs）的引入，ViTs迅速取代了卷积神经网络（ConvNets）成为最先进的图像分类模型。然而，普通的ViT在应用于诸如目标检测和语义分割等一般计算机视觉任务时面临困难。分层Transformer（例如Swin Transformer）重新引入了几种ConvNet先验知识，使得Transformer在实际应用中成为通用的视觉骨干，并在各种视觉任务中表现出色。
YOLO11改进-模块-引入星型运算Star Blocks
qq_64693987的博客
12-25 2737
1. 卷积层（Conv）：模块中包含卷积层，用于提取特征。不同阶段（stage）的卷积层有不同的参数。例如，图中提到卷积层（Conv）的核大小（ks）为 3，步长（stride）为 2。2. 深度可分离卷积（DW - Conv）：模块中还包含深度可分离卷积层，用于进一步处理特征。深度可分离卷积层的核大小（ks）为 7，步长（stride）为 1。3. 批量归一化（BN）和激活函数（ReLU）：在模块中，深度可分离卷积层前后可能会有批量归一化和激活函数操作，用于归一化数据和引入非线性。
YOLO11改进-Backbone-引入ShuffleNet v2替换backbone，实现轻量化
最新发布
qq_64693987的博客
04-21 1733
ShuffleNet V2 的原理基于对传统计算复杂度指标 FLOPs 局限性的认识，提出应使用直接指标（如速度）并在目标平台进行评估。通过分析 ShuffleNet v1 和 MobileNet v2 的运行时性能，得出四条实用设计准则：相等通道宽度可最小化内存访问成本，过度组卷积会增加成本，网络碎片化降低并行度，元素 - wise 操作不可忽视。ShuffleNet V2 依此进行设计，引入通道分割，优化卷积和连接方式，减少元素 - wise 操作，既提升模型容量，又提高效率，实现速度和精度的良好平衡。
【YOLOv8改进- Backbone主干】YOLOv8 更换主干网络之EfficientNet，高效的卷积神经网络，降低参数量
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-15 2530
卷积神经网络（ConvNets）通常在固定的资源预算下开发，如果有更多资源可用，则会进行扩展以提高准确性。在本文中，我们系统地研究了模型扩展，并发现仔细平衡网络的深度、宽度和分辨率可以带来更好的性能。基于这一观察，我们提出了一种新的扩展方法，使用一个简单但非常有效的复合系数均匀扩展深度、宽度和分辨率的所有维度。我们展示了这种方法在扩展MobileNets和ResNet时的有效性。
YoloV8改进策略：BackBone改进|RIFormer在YoloV8中的创新应用与显著性能提升
m0_47867638的博客
09-26 462
RIFormer是一种经过精心设计的视觉骨干网络，其核心在于去除了传统视觉Transformer（ViTs）中的复杂令牌混合器（token mixer），如自注意力机制，转而采用一种简化的恒等映射结构。这一设计极大地降低了模型的计算复杂度，同时保留了足够的建模能力。通过结合知识蒸馏和结构重参数化技术，RIFormer能够在保持高效率的同时，实现与复杂模型相媲美的性能，为边缘设备上的视觉任务提供了理想选择。
YOLOv8改进 | 主干篇 | 利用MobileNetV3替换Backbone（轻量化网络结构）
Snu77的博客
12-23 1万+
本文给大家带来的改进机制是MobileNetV3轻量化网络结构，其主要改进思想集中在结合硬件感知的网络架构搜索（NAS）和NetAdapt算法，以优化移动设备CPU上的性能。它采用了新颖的架构设计，包括反转残差结构和线性瓶颈层，以及新的高效分割解码器（LR-ASPP），以提升在移动分类、检测和分割任务上的表现。实验表明，MobileNets在资源和准确性的权衡方面表现出色，并在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中展现了其有效性。
YOLOv8改进实战 | 更换主干网络Backbone之轻量化模型Efficientvit
w94ghz的博客
10-19 3124
YOLOv8改进 | 主干/Backbone篇 | 2024最新重写星辰StarNet助力yolov8有效涨点（yolov8全系列轻量化）
Snu77的博客
12-17 3172
本文给大家带来的最新改进机制是Rewrite the Stars，其探讨了“星操作”（即元素级的乘法）在网络设计中的潜力。文章提出，星操作能够将输入映射到高维的非线性特征空间中，而不需要增加网络的宽度。这个过程类似于机器学习中的核技巧，但通过保持网络的紧凑性和低延迟实现了高效的计算。本文将其添加到YOLOv8中并且根据yolov8的N、S、M、L、X进行缩放和扩张，yolov8全系列可实现轻量化。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv8改进实战 | 更换主干网络Backbone之PoolFormer篇
w94ghz的博客
10-19 1084
YOLOv8改进 | 主干篇 | 华为最新VanillaNet主干替换Backbone实现大幅度长点
Snu77的博客
12-19 6292
本文给大家来的改进机制是华为最新VanillaNet网络，其是今年最新推出的主干网络，VanillaNet是一种注重极简主义和效率的神经网络架构。它的设计简单，层数较少，避免了像深度架构和自注意力这样的复杂操作(需要注意的是该网络结构的通道数会被放大，GFLOPs的量会很高)。我将其替换整个YOLOv8的Backbone，在一些大目标和小目标检测上均有涨点，效果比上一篇RepViT的效果要好。我的实验数据集是一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，下面我会附上基础版本和修改版
YOLOv8优化策略：轻量级Backbone改进 | 高效模型 (Efficient MOdel, EMO),现代倒残差移动模块设计 | ICCV2023
会AI的学姐
11-19 777
面向移动端的轻量化网络模型——EMO，它能够以相对较低的参数和 FLOPs 超越了基于 CNN/Transformer 的 SOTA 模型，支持四个版本EMO_1M, EMO_2M, EMO_5M, EMO_6M
YOLOv8改进实战 | 更换主干网络Backbone（六）之轻量化模型VanillaNet进阶篇
w94ghz的博客
11-22 1375
YOLOv11改进策略【独家融合改进】| StarNet + 小目标检测头，加强跨尺度的上下文特征融合，提高小目标检测能力
Limiiiing的博客
03-20 590
P3/8 - small检测头原始模型中的P3/8特征层对应的检测头主要用于检测相对较小的目标。其特征图大小相对较大，空间分辨率较高。适合检测尺寸大概在8x8到32x32像素左右的目标。P4/16 - medium检测头这个检测头对应的P4/16特征层经过了更多的下采样操作，相比P3/8特征图空间分辨率降低，但通道数增加，特征更抽象且有语义信息。它主要用于检测中等大小的目标，尺寸范围大概在32x32到64x64像素左右。P5/32 - large检测头P5/32。
YOLOv10改进 | 主干篇 | YOLOv10引入华为移动端模型Ghostnetv2替换Backbone
tsg6698的博客
07-08 523
在本文中，我们提出了一种硬件友好的注意力机制（称为 DFC 注意力），然后为移动应用程序提出了一种新的 GhostNetV2 架构。此外，GhostNetV2的设计还包括了下采样操作，以减少特征的大小，从而在较小的特征上应用DFC注意力，并通过上采样操作将其恢复至原始大小。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
【YOLOv8改进- Backbone主干】2024最新轻量化网络MobileNetV4替换YoloV8的BackBone
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-11 1359
摘要：我们介绍了最新一代的MobileNets，称为MobileNetV4（MNv4），其架构设计在移动设备上具有通用的高效性。核心是我们引入了通用倒置瓶颈（UIB）搜索模块，这是一种统一且灵活的结构，融合了倒置瓶颈（IB）、ConvNext、前馈网络（FFN）以及一种新颖的额外深度可分离（ExtraDW）变体。除了UIB，我们还介绍了Mobile MQA，一种专为移动加速器设计的注意力模块，提供显著的39%速度提升。我们还引入了一种优化的神经架构搜索（NAS）配方，提高了MNv4的搜索效率。UIB、Mob
YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 6907
如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
starnet用于yolov8
02-12
### 集成 StarNet 与 YOLOv8 的方法 为了提升YOLOv8的目标检测性能，可以考虑将StarNet作为改进的骨干网络来替代默认的CSPDarknet架构。这种方法不仅能够增强特征提取能力，还能提高模型的整体精度和速度。 #### 修改 Backbone 结构 首先，在YOLOv8的基础框架内替换原有的Backbone部分为StarNet结构。由于StarNet采用了独特的星操作(star operation)，这使得其可以在不显著增加计算成本的情况下实现更高效的特征表示学习[^3]。 ```python from yolov8 import YOLOv8 from starnet.backbone import StarNetBackbone class CustomYOLO(YOLOv8): def __init__(self, num_classes=80): super().__init__() self.backbone = StarNetBackbone() # 使用StarNet作为新的backbone def main(): model = CustomYOLO() print(model) if __name__ == "__main__": main() ``` 此代码片段展示了如何创建一个新的类`CustomYOLO`继承自原始的`YOLOv8`并修改其中的`backbone`属性指向`StarNetBackbone()`实例。这样就完成了对原有网络结构最核心组件之一——即主干网络(Backbone)的有效升级。 #### 调整 Hyperparameters 和 Training Strategy 当引入了不同的Backbone之后，可能还需要调整一些超参数以及训练策略以适应新架构的特点。比如适当减少初始的学习率、改变优化器的选择或是设置预热期(warm-up period)等措施都可以帮助更好地收敛于最优解。 此外，考虑到StarNet本身具有较好的泛化能力和较低的记忆占用特性，因此建议尝试使用更大的输入尺寸或更多的epoch数来进行充分训练，从而挖掘出该组合方案的最大潜力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值