YOLO算法改进Backbone系列之：EdgeViT

最新推荐文章于 2024-11-04 22:47:44 发布
最新推荐文章于 2024-11-04 22:47:44 发布
阅读量1.1k 收藏 22
点赞数 16
文章标签： YOLO 算法 pytorch 目标检测 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sc1434404661/article/details/136546791
版权
文章探讨了如何通过引入EdgeViTs，一种结合了自注意力和卷积的轻量级视觉Transformer，解决在移动设备上部署高性能视觉模型的问题。EdgeViTs通过LGL瓶颈优化了计算效率和准确性，使得在移动设备上实现了ViTs与CNN的最佳性能平衡。同时，文章还提供了将EdgeViT应用于YOLOv5项目作为Backbone的教程步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要：在计算机视觉领域，基于Self-attention的模型(如ViTs)已经成为CNN之外的一种极具竞争力的架构。尽管越来越强的变种具有越来越高的识别精度，但由于Self-attention的二次复杂度，现有的ViT在计算和模型大小方面都有较高的要求。虽然之前的CNN的一些成功的设计选择(例如，卷积和分层结构)已经被引入到最近的ViT中，但它们仍然不足以满足移动设备有限的计算资源需求。这促使人们最近尝试开发基于最先进的MobileNet-v2的轻型MobileViT，但MobileViT与MobileNet-v2仍然存在性能差距。在这项工作中，作者进一步推进这一研究方向，引入了EdgeViTs，一个新的轻量级ViTs家族，也是首次使基于Self-attention的视觉模型在准确性和设备效率之间的权衡中达到最佳轻量级CNN的性能。这是通过引入一个基于Self-attention和卷积的最优集成的高成本的local-global-local (LGL) 信息交换瓶颈来实现的。对于移动设备专用的评估，不依赖于不准确的proxies，如FLOPs的数量或参数，而是采用了一种直接关注设备延迟和能源效率的实用方法。

基于自注意力机制的视觉Transformer(ViT)在视觉任务上，已经形成和CNN一样强有力的架构，但其计算量和模型大小很大。虽然一些工作通过引入先验信息或级联多阶段结构到ViT中，但在移动设备上仍不够高效。本文研究基于MobileNetV2的轻量化ViT，其通过引入局部-全局-局部(LGL)的bottleneck实现，其结合了注意力机制和CNN的优势。

作者提出了将VIT模型应用于移动端需要考虑的三个问题：
（1）推理速度要快。当前的一些指标如 FLOPs 难以反映模型在移动端的速度，因为内存访问速度、并行性等因素还要综合考虑
（2）模型可以大

最低0.47元/天 解锁文章
BestSongC
关注
YOLOv10优化：backbone改进 | EMO，结合 CNN 和 Transformer 的现代倒残差移动模块设计，性能优于EdgeViT、Mobile-former等网络 |ICCV2023
06-13 414
计算量比较，原始YOLOv10s为24.8 GFLOPs，改进后为18.0GFLOPs
YoloV10改进策略：BackBone改进|EfficientFormerV2在YoloV10中的创新应用，精度与效率的完美平衡
m0_47867638的博客
09-21 702
随着视觉变换器（ViTs）在计算机视觉任务中的成功，近期的研究尝试优化ViTs的性能和复杂度，以实现在移动设备上的高效部署。提出了多种方法来加速注意力机制，改进低效设计，或结合适用于移动设备的轻量级卷积形成混合架构。然而，ViT及其变体仍然比轻量级CNNs有更高的延迟或更多的参数，即使是多年前的MobileNet也是如此。在实践中，延迟和大小对于在资源受限的硬件上有效部署至关重要。在这项工作中，我们探讨了一个核心问题，变换器模型能否像MobileNet一样快速运行并保持类似的大小？
edgeVIT
qq_42075634的博客
07-20 1061
edgeVIT
edgeai-yolov5 项目使用教程
gitblog_00050的博客
08-08 380
edgeai-yolov5 项目使用教程 edgeai-yolov5项目地址:https://gitcode.com/gh_mirrors/ed/edgeai-yolov5 1. 项目的目录结构及介绍 edgeai-yolov5/ ├── models/ │ ├── yolo.py │ └── ... ├── utils/ │ ├── datasets.py │ └── ... ...
YOLOv8 改进之 轻量化模型EfficientVit
2301_80086153的博客
07-19 697
5 修改ultralytics/nn/tasks.py中的BaseModel类中的_predict_once函数。1 ultralytics/nn/backbone 目录下新建efficientVit.py文件。3 在ultralytics/nn/tasks.py 中的 parse_model函数中进行加入。4 在ultralytics/nn/tasks.py 中的 parse_model函数中修改。2 在ultralytics/nn/tasks.py中引入。6 修改yaml文件 替换骨干网络。
超越MobileViT！港中文&三星提出EdgeViT：轻量级视觉Transformer新工作，可与最好的轻量级CNN竞争！...
阿木寺的博客
05-15 2312
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers论文：https://arxiv.org/abs/2205.03436在计算机视觉领域，基于Self-attention的模型(如...
[Transformer] EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers
Cherry的笔记本
08-05 1087
适用于边缘设备的ViT
【论文笔记】：Mamba YOLO SSMs-Based YOLO For Object Detection
2301_80365008的博客
08-31 2490
该篇论文中，引入了ODSSBlock模块，将SSM结构应用于目标检测领域。与用于图像分类的VSSBlock不同，用于目标检测的图像具有更大的像素，并且由于SSM模型通常对文本序列进行建模，缺乏对图像的通道表达能力，我们提出了LSBlock对通道特征进行建模。得益于图像较大的像素和较多的通道维度，我们提出了RGBlock结构在SS2D输出后进一步解码，利用点乘的高维表达方式提高通道相关性。Mamba - YOLO是视觉识别和检测任务中的一个重要进展，旨在构建一种结合SSM和CNN优点的新型骨干网络。
RT-DETR改进策略：BackBone改进|使用StarNet改进RT-DERT，显著提升性能与效率
m0_47867638的博客
09-16 1404
本文介绍了我们如何将最新的StarNet模型成功应用于实时目标检测任务中，特别是用于改进RT-DERT（一种高效的实时目标检测网络）的主干网络部分。通过详尽的实验和理论分析，我们证明了StarNet不仅能够显著增强RT-DERT的检测精度，同时保持了高效的计算性能和低延迟特性。这一创新性的改进为实时目标检测领域带来了新的视角和实用的解决方案。近年来，实时目标检测技术在自动驾驶、视频监控、机器人视觉等领域的应用日益广泛。然而，实现高精度与高效率的平衡一直是该领域面临的重要挑战。
LSKA（大可分离核注意力）：重新思考CNN大核注意力设计
m0_47867638的博客
10-23 2861
大型可分离核注意力（LSKA）模块的视觉注意力网络（VAN）已被证明在各种基于视觉的任务上提供了卓越的性能，超过了视觉转换器（ViTs）。然而，这些LSKA模块中的逐深度卷积层随着卷积核尺寸的增加，计算和内存占用呈二次增长。为了缓解这些问题，并使VAN的注意力模块能够使用极大的卷积核，我们提出了一种大型可分离核注意力模块，称为LSKA。LSKA将深度卷积层的2D卷积核分解为级联的水平1D和垂直1D内核。与标准LKA设计不同，提出的分解使得可以直接使用注意力模块中的深度卷积层的大内核，而不需要任何额外的块。
vitedge:边缘渲染和全栈Vite框架
04-11
维特奇 适用于Vue和React的 Edge Side Rendering （ESR）框架。 什么是ESR？ 考虑一下CDN节点中的SSR（服务器端渲染），而不是实际的服务器。 今天有了 （以及不久的将来的其他一些平台），这才有可能实现。 Vitedge只是Vite app:trade_mark: ，可在边缘工作器中预渲染第一个视图，而其余视图作为SPA运行。 这意味着在保持SPA的快速路由和DX的同时，还可以带来良好的SEO。 在某些情况下，它可以代替静态站点生成器，因为它可以动态生成并在边缘进行缓存。 因此，除了从CDN中获取静态index.html ，CDN本身将动态创建它，或者如果已经访问过CDN，则从缓存中提供它（可配置的缓存年龄+失效时有效）。 尽管在边缘运行它是理想的选择，但实际上它与任何Node环境都兼容。 请参阅和。 特征 :high_voltage: 由Vite和ES模块提供支持的超快速开发和HMR。
【ARXIV2205】EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers
OUC的搬砖日常
06-18 554
基于自注意力机制的视觉Transformer(ViT)在视觉任务上，已经形成和CNN一样强有力的架构，但其计算量和模型大小很大。虽然一些工作通过引入先验信息或级联多阶段结构到ViT中，但在移动设备上仍不够高效。本文研究基于MobileNetV2的轻量化ViT，其通过引入局部-全局-局部(LGL)的bottleneck实现，其结合了注意力机制和CNN的优势。作者提出了将VIT模型应用于移动端需要考虑的三个问题：以上面三个原则为指导，作者提出了 EdgeViTs，设计了一个高效的 局部-全局-局部（LGL） 模
YOLOv7改进主干ViT系列：全网首发最新MobileViTv系列最强改进版本——轻量化Transformer视觉转换器
UksApps的博客
09-17 399
通过使用轻量化的Transformer视觉转换器，MobileViTv在保持高准确性的同时，具备较低的计算复杂度，适用于移动设备等资源受限的场景。最近，研究人员提出了一种改进版本，称为MobileViTv，它巧妙地将YOLOv7和ViT相结合，实现了更高效的目标检测性能。MobileViTv的核心思想是将ViT中的Transformer模块应用于YOLOv7的主干网络，从而在保持高准确性的同时，实现轻量化的计算。这种融合方式不仅提高了目标检测的准确性，还显著降低了计算量。
YOLOv10改进 | 主干篇 | YOLOv10引入MobileViTv1替换Backbone
tsg6698的博客
07-05 368
我们的结果表明，MobileViT 在不同的任务和数据集上显着优于 CNN 和基于 ViT 的网络。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~总的来说，MOBILEVIT模块通过结合卷积和变换器的长处，实现了对输入图像的有效编码，同时保持了网络模型的轻量化和高效性，非常适合部署在资源受限的移动设备上进行视觉相关的任务处理。
EfficientVit实现轻量化改进YOLOV8：级联分组注意力模块的全新实时网络架构#重塑实时物体检测的未来
CDBmax的博客
12-28 4209
文章提供了YOLOv8-EfficientViT项目的源代码，分为六个主要部分，每部分都有详细的中文注释，有助于读者更好地理解和应用。此外，文章还汇总了一系列有关EfficientViT和YOLOv8的研究论文、GitHub代码库、论文解析等资源链接，供读者参考和深入研究。
EdgeViT代码复现踩坑记录
weixin_45350036的博客
10-05 723
首先按照要求创建相应环境，配置相关安装包。最后将官方所给的命令行python -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --model edgevit_s --batch-size 256 --data-path /path/to/imagenet --output_dir /path/to/save粘贴进去，运行，报错，提示所用环境中没有该main.py文件。
【第37篇】EdgeViTs： 在移动设备上使用Vision Transformers 的轻量级 CNN
m0_47867638的博客
06-23 446
目标检测有两种主流：自顶向下和自底向上。最先进的方法大多属于 第一类。在本文中，我们证明了自下而上的方法与自上而下的方法一样具有竞争力，并且具有更高的召回率。我们的方法名为 CenterNet，将每个对象检测为三个关键点（左上角和右下角以及中心关键点）。我们首先通过一些设计的线索对角进行分组，并通过中心关键点进一步确认对象。角关键点使该方法能够检测各种尺度和形状的对象，中心关键点避免了大量假阳性提议带来的混乱。我们的方法是一种无锚检测器，因为它不需要定义明确的锚框。
YOLOv9最新改进系列：超越VIT！重新思考CNN大核注意力设计,显著提升小目标检测性能！
B站 Ai学术叫叫兽的文案地
04-11 2291
大型可分离核注意力（LSKA）模块的视觉注意力网络（VAN）已被证明在各种基于视觉的任务上提供了卓越的性能，超过了视觉转换器（ViTs）。然而，这些LSKA模块中的逐深度卷积层随着卷积核尺寸的增加，计算和内存占用呈二次增长。为了缓解这些问题，并使VAN的注意力模块能够使用极大的卷积核，我们提出了一种大型可分离核注意力模块，称为LSKA。LSKA将深度卷积层的2D卷积核分解为级联的水平1D和垂直1D内核。与标准LKA设计不同，提出的分解使得可以直接使用注意力模块中的深度卷积层的大内核，而不需要任何额外的块。
【YOLO11改进 - Backbone主干】微软 EfficientViT替换YOLO11的BackBone: 高效视觉transformer与级联组注意力，平衡速度与精度
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-04 330
【YOLO11改进 - Backbone主干】微软 EfficientViT替换YOLO11的BackBone: 高效视觉transformer与级联组注意力，平衡速度与精度
Yolo算法红外图像数据集：驾驶员抽烟打电话检测
该数据集的特点是集成了YOLO系列算法（YOLOv5、YOLOv7、YOLOv8和YOLOv9）所需的数据格式，这意味着可以直接用于这些算法的模型训练中。具体来说，数据集以txt格式提供了标注信息，并且附带了一个配置文件data.yaml，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值