【RT-DETR有效改进】华为最新VanillaNet主干替换Backbone实现大幅度涨点

原创 已于 2024-03-18 21:34:53 修改 · 1.9k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #人工智能 #目标检测 #深度学习 #计算机视觉 #RT-DETR #python

于 2024-01-18 06:30:00 首次发布
本文介绍了如何使用华为新发布的VanillaNet替换RT-DETR的Backbone，以提高目标检测性能。VanillaNet注重效率，通过深度训练策略和串联激活函数提升网络性能。作者提供了详细的网络结构修改教程，包括多个关键步骤的修改，实验证明这种方法比RepViT有更好的效果。

👑欢迎大家订阅本专栏，一起学习RT-DETR👑   

一、本文介绍

本文给大家来的改进机制是华为最新发布的VanillaNet网络，VanillaNet是一种注重极简主义和效率的神经网络架构。它的设计简单，层数较少，避免了像深度架构和自注意力这样的复杂操作。我将其替换整个RT-DETR的Backbone，在一些大目标和小目标检测上均有涨点，效果比上一篇RepViT的效果要好。接下来，我会展示一下原始版本和我改进后版本在训练上的对比图。之后会在文章中介绍该网络结构，然后教大家如何修改该网络结构，下面的图片为在我的数据上的实验对比图，左边为基础版本 ，右边为修改了本文该机制的结果，可以看出涨点效果。

 专栏链接：RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR

目录

一、本文介绍

二、VanillaNet原理

2.2  VanillaNet的基本原理

2.2.1 深度训练策略

2.2.2 串联激活函数

三、VanillaNet的核心代码 

四、手把手教你添加VanillaNet网络结构

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七 

4.8 修改八

4.9 必备修改！

4.10 RT-DETR不能打印计算量问题的解决

4.11 可选修改

五、VanillaNet的yaml文件

5.1 yaml文件

5.2 运行文件

5.3 成功训练截图

六、全文总结

二、VanillaNet原理

论文地址： 官方论文地址

代码地址： 官方代码地址

了解本专栏 订阅专栏 解锁全文
YOLOv5改进 | 主干篇 | 华为最新VanillaNet主干替换Backbone实现大幅度长点
Snu77的博客
12-28 2377
本文给大家来的改进机制是华为最新VanillaNet网络，其是今年最新推出的主干网络，VanillaNet是一种注重极简主义和效率的神经网络架构。它的设计简单，层数较少，避免了像深度架构和自注意力这样的复杂操作(需要注意的是该网络结构的通道数会被放大，GFLOPs的量会很高)。我将其替换整个YOLOv5的Backbone，在一些大目标和小目标检测上均有涨点，效果比上一篇RepViT的效果要好。我的实验数据集是一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，下面我会附上基础版本和修改版
YOLOv8独家改进：backbone改进 | 微软新作StarNet：超强轻量级Backbone | CVPR 2024
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
05-14 3606
star operation（元素乘法）在无需加宽网络下，将输入映射到高维非线性特征空间的能力
深入解析 RT-DETR 核心架构：从 Backbone 到检测头的设计逻辑
最新发布
走向CTO的路上...
11-28 1006
RT-DETR 核心架构解析摘要（150字）： RT-DETR是首个实时端到端Transformer检测模型，在保持DETR无锚框优势的同时，通过三大创新实现精度与速度平衡：1) 动态稀疏注意力将计算复杂度从O(N²)降至O(N log N)；2) 混合编码器-解码器架构，编码器进行多尺度特征提取，解码器通过可学习查询直接预测目标框；3) 轻量化设计包括CSPDarknet变体Backbone和通道剪枝。应用场景涵盖实时视频监控(>30FPS)、自动驾驶和工业质检，在COCO数据集上以49.2 AP超
RT-DETR算法优化改进：Backbone改进 | VanillaNet一种新视觉Backbone，极简且强大！华为诺亚2023
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
11-14 2183
VanillaNet助力RT-DETR ，替换backbone，简到极致、浅到极致！深度为6的网络即可取得76.36%@ImageNet的精度，深度为13的VanillaNet甚至取得了83.1%的惊人性能。
RT-DETR系列之backbone
qq_45692404的博客
03-15 3273
本人正在学习RT-DETR中，将学习过程记录下来，如有错误，请指正！通融通融本博客以RT-DETR的r18为基准模型学习。最开始学习要知道整个RT-DETR的大致结构，如图。backbone位于最前面，骨干网络（Backbone）用于从输入图像中提取特征。它的任务是通过一系列卷积操作和其他处理方法，将输入的原始图像转换为一个高维的特征表示。P1P2P3P4P5是不同网络层的输出特征图的尺寸（通常是下采样的结果），这些代表了卷积神经网络（CNN）中特征图的不同层级。
RT-DETR算法优化改进：轻量级Backbone改进 | 支持Paddle轻量级 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等版本
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
11-15 2879
支持百度飞浆resnet各个版本，rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等轻量化backbone
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 2万+
1️⃣本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
原论文一比一复现 | RT-DETR更换华为最新主干网络【VanillaNet-5】【VanillaNet-6】【VanillaNet-9】【VanillaNet-12】【VanillaNet-13】
YOLOv8项目贡献者
11-14 3364
原论文1比1复现，全网最全版本，想要的我都有！😎
【RT-DETR有效改进】华为 | GhostnetV2移动端的特征提取网络效果完爆MobileNet系列
Snu77的博客
01-21 1921
本文给大家带来的改进机制是华为移动端模型GhostNetV2，华为GhostNetV2是为移动应用设计的轻量级卷积神经网络（CNN），旨在提供更快的推理速度，其引入了一种硬件友好的注意力机制，称为DFC注意力。这个注意力机制是基于全连接层构建的，它的设计目的是在通用硬件上快速执行，并且能够捕捉像素之间的长距离依赖关系，其效果完爆MobileNet系列非常适合追求轻量化和高PFS的读者。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
【DETR源码解析】二、Backbone模块
qq_38253797的博客
11-01 6341
detr
【RT-DETR有效改进】 主干篇 | SwinTransformer替换Backbone（附代码 + 详细修改步骤 +原理介绍）
Snu77的博客
01-23 3245
本文给大家带来的改进机制是利用替换RT-DETR中的骨干网络其是一个开创性的视觉变换器模型，它通过使用位移窗口来构建分层的特征图，有效地适应了计算机视觉任务。与传统的变换器模型不同，Swin Transformer的自注意力计算仅限于局部窗口内，使得计算复杂度与图像大小成线性关系，而非二次方。这种设计不仅提高了模型的效率，还保持了强大的特征提取能力。Swin Transformer的创新在于其能够在不同层次上捕捉图像的细节和全局信息，使其成为各种视觉任务的强大通用骨干网络。
微软亚研院提出DETR最强改进策略 | DETR无痛涨点Tricks集合
CV_Autobot的博客
09-19 3906
作者|AI视界引擎 编辑|AI视界引擎点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文本论文提出了一种改进的DETR检测器，保持了“简单”的特性：使用单一尺度的特征图和全局交叉注意力计算，而没有特定的局部约束，与之前领先的基于DETR的检测器形成对比，后者重新引入了多尺度和局部...
【Transformer学习笔记】DETR：将transformer引入目标检测领域
sjflsahfisaojfsa的博客
12-15 3970
之前我们有讲过如何将transformer引入CV领域，想去看看的同学可以点击这里： 【Transformer学习笔记】VIT解析 VIT论文中最后的实验解决的是一个多分类任务。那么transformer的结构能不能用来解决目前cv领域大热的目标检测问题呢？ DETR，DEtecion TRsformer就是为了回答这个问题而诞生的。而且它的做法并不是只是直接用transformer结构将传统目标检测网络中的backbone给替换了，它还提出了一种基于set prediction的目标检测新思路。 原论文地
YOLOv10改进 | 主干篇 | YOLOv10引入华为VanillaNet替换Backbone
tsg6698的博客
06-19 985
VanillaNet 的这一富有远见的旅程具有重新定义景观并挑战基础模型现状的巨大潜力，为优雅而有效的模型设计开辟了一条新道路。此外，为了增强网络的非线性特性，VanillaNet还提出了一种有效的基于序列的激活函数，该函数结合了多个可学习的仿射变换。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~3.3 在tasks.py里引用。
从DETR backbone 的NestedTensor 到DataLoader, Sampler,collate_fn，再到DETR transformer
qq_35831906的博客
05-01 6015
从DETR backbone 的NestedTensor 到DataLoader, Sampler,collate_fn，再到DETR transformer
RT-DETR改进策略：BackBone改进|Swin Transformer，最强主干改进RT-DETR
m0_47867638的博客
09-16 2852
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
YOLOv8改进，YOLOv8替换主干网络为VanillaNet( CVPR 2023 华为提出的全新轻量化架构)，大幅度涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
09-21 1275
基础模型的核心理念是“更多即不同”，这一理念在计算机视觉和自然语言处理领域取得了惊人的成功。然而，变压器模型的优化挑战和固有复杂性呼唤一种向简化转变的范式。在本研究中，引入了VanillaNet，一种拥抱设计优雅的神经网络架构。通过避免高深度、快捷方式和复杂操作如自注意，VanillaNet设计简洁而功能强大。每一层都精心设计为紧凑和简洁，训练后修剪非线性激活函数以恢复原始架构。VanillaNet克服了固有的复杂性挑战，非常适合资源受限的环境。其易于理解和高度简化的架构为高效部署开辟了新可能。
rt-detr网络训练数据集
03-24
### 适用的数据集 RT-DETR 是一种基于 DETR 的高效目标检测框架，其设计初衷是为了支持大规模的目标检测任务。通常情况下，该模型可以使用 COCO 数据集进行训练[^2]，这是目前最广泛使用的多类别目标检测数据集之一。COCO 数据集包含了超过 200K 张标注图片和 80 种不同的物体类别。 除了 COCO 数据集外，还可以考虑其他常用的目标检测数据集： #### Pascal VOC 数据集 Pascal VOC 数据集是一个经典的小规模目标检测数据集，适合用于快速验证模型性能。尽管它的类别较少（仅包含 20 类），但它仍然是许多研究工作的基础测试平台[^3]。 #### 自定义数据集准备 如果希望针对特定领域应用 RT-DETR，则可能需要创建自定义数据集。这可以通过以下方式完成： 1. **标注工具**: 使用像 LabelImg 或 Supervisely 这样的开源标注软件来标记自己的图像集合。 2. **转换格式**: 将标注文件转化为 YOLO 格式或其他兼容格式以便于加载至 `train.py` 脚本中运行训练过程。 对于具体项目需求而言，可以根据实际应用场景选择合适大小与复杂度水平的数据源来进行微调或者重新训练整个网络结构。 以下是几个常见公开可用资源链接供参考: - [Microsoft COCO Dataset](http://cocodataset.org/#home): 提供高质量的人工标注照片资料库. - [PASCAL Visual Object Classes Challenge (VOC)](http://host.robots.ox.ac.uk/pascal/VOC/): 经典计算机视觉竞赛所用的标准评测基准. 另外值得注意的是华为诺亚方舟实验室也开放了一些关于 Ghost Model v3 及其优化版本的相关工作成果,这些可能会进一步提升 RT-DETR 表现效果.[^4] ```python import torch from torchvision.datasets import CocoDetection from PIL import ImageDraw def load_coco_data(root_dir, ann_file): dataset = CocoDetection(root=root_dir, annFile=ann_file) img_id = list(sorted(dataset.coco.imgs.keys()))[0] image, target = dataset[img_id] draw = ImageDraw.Draw(image) for box in target['boxes']: xmin, ymin, xmax, ymax = box.tolist() draw.rectangle((xmin, ymin, xmax, ymax), outline='red') if __name__ == "__main__": root_directory = 'path_to_your_local_copy_of_COCO' annotation_filepath = f'{root_directory}/annotations/instances_train2017.json' load_coco_data(root_directory, annotation_filepath) ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值