YOLOv7改进主干ViT系列：移动设备上的高效计算机视觉

最新推荐文章于 2025-09-22 05:28:35 发布

ZuoProgramming

最新推荐文章于 2025-09-22 05:28:35 发布

阅读量458

点赞数

CC 4.0 BY-SA版权

文章标签： YOLO 计算机视觉人工智能

本文链接：https://blog.youkuaiyun.com/ZuoProgramming/article/details/133129595

计算机视觉专栏收录该内容

77 篇文章 ¥59.90 ¥99.00

订阅专栏

近年来，计算机视觉领域取得了长足的发展，其中物体检测是一个重要的研究方向。在物体检测算法中，YOLOv7和ViT（Vision Transformer）系列都是备受关注的模型。本文将结合这两个模型，提出了一种全新的移动设备上高效的物体检测模型——MobileViTv2。

MobileViTv2结构是对YOLOv7和ViT模型的改进与融合。它采用了ViT的Transformer结构作为主干网络，并引入了可分离自注意力机制。这一创新性的设计使得MobileViTv2在高效性能和精确度之间找到了一个平衡点，可以在移动设备上实现快速准确的物体检测。

以下是MobileViTv2的主要结构：

import torch
import torch.nn as nn
import torchvision.models as models

class MobileViTv2

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ZuoProgramming

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

YoloV7改进策略：EfficientViT，高效的视觉transformer与级联组注意力提升YoloV7的速度和精度，打造高效的YoloV7

m0_47867638的博客

10-10

2424

EfficientViT是一种高效的视觉Transformer模型，旨在解决传统Vision Transformer模型在计算成本方面的问题，使其实时应用更高效。传统Transformer模型的速度通常受限于内存效率低下的操作，尤其是在多头自注意力机制（MHSA）中的张量重塑和逐元素函数。为了提高内存效率并增强通道间的通信，EfficientViT设计了一种新的构建块，采用了“夹层布局（sandwich layout）”策略，即在高效的前馈神经网络FFN层之间使用了一个受内存限制的MHSA。

YOLOv7升级换代：EfficientNet骨干网络助力更精准目标检测

学Java，找哪吒

05-08

1万+

目标检测是计算机视觉中的重要研究方向，其应用广泛，例如自动驾驶、安防监控等。目前，基于深度学习的目标检测方法已经取得了很大进展，其中YOLO（You Only Look Once）系列模型以其快速且准确的特点备受关注。

参与评论您还未登录，请先登录后发表或查看评论

ViT+YOLO革命：10倍提升目标检测效率的混合架构实战

最新发布

gitblog_00160的博客

09-22

1164

当你的自动驾驶系统因检测延迟错过突发障碍，当你的工业质检设备因精度不足放过关键缺陷，当你的安防摄像头在人群中丢失目标——是时候重构目标检测的技术范式了。传统YOLO虽快但小目标漏检率高达35%，纯Transformer模型虽准却慢如蜗牛（FPS...

主干网络篇 | YOLOv5/v7 更换骨干网络之 EfficientNet | 卷积神经网络模型缩放的再思考

weixin_39818775的博客

06-27

2018

近年来，深度卷积神经网络（CNN）在图像识别、目标检测等领域取得了巨大进展。然而，随着模型复杂度的不断提升，模型训练和部署所需的计算资源也呈指数级增长，这对于资源受限的设备和平台带来了挑战。为了解决这个问题，EfficientNet 应运而生。EfficientNet 是一种基于神经网络架构搜索（NAS）的卷积神经网络架构，它通过探索不同网络结构的组合，以最小化的计算代价获得最大化的精度，实现了模型的轻量化和高效性。

改进YOLO系列 | EfficientViT：用于高分辨率密集预测的多尺度线性注意力 | ICCV 2023

YOLOv8项目贡献者

04-04

1042

本改进已融合到 YOLOv5-Magic 框架！

YOLOv7 独家改进：EfficiCLNMS 增强的计算机视觉预测帧

LmtTransforms的博客

09-19

240

通过减少计算量，EfficiCLNMS能够更高效地进行框的筛选，提高目标检测的速度和准确性。总结起来，YOLOv7独家改进的EfficiCLNMS增强方法为计算机视觉的目标检测任务带来了新的突破。为了进一步提升其性能，我们对YOLOv7进行了独特的改进，引入了EfficiCLNMS增强方法，并通过实现源代码来验证其有效性。通过以上的源代码改进和示例，我们成功地将EfficiCLNMS算法应用于YOLOv7目标检测算法中，实现了对重叠框的高效筛选。通过这种方式，我们能够在减少计算开销的同时保留最相关的目标。

芒果YOLOv7改进33：主干篇：改进主干ViT系列：全网首发最新 ICLR2022 顶会|轻量通用的MobileViT结构（一）Transformer，轻量级、通用且移动友好的视觉转换器，高效涨点

包括YOLOv5、YOLOv7、YOLOv8等模型改进

11-11

3387

YOLOv7改进主干ViT系列：全网首发最新MobileViTv系列最强改进版本——轻量化Transformer视觉转换器

UksApps的博客

09-17

474

通过使用轻量化的Transformer视觉转换器，MobileViTv在保持高准确性的同时，具备较低的计算复杂度，适用于移动设备等资源受限的场景。最近，研究人员提出了一种改进版本，称为MobileViTv，它巧妙地将YOLOv7和ViT相结合，实现了更高效的目标检测性能。MobileViTv的核心思想是将ViT中的Transformer模块应用于YOLOv7的主干网络，从而在保持高准确性的同时，实现轻量化的计算。这种融合方式不仅提高了目标检测的准确性，还显著降低了计算量。

YOLOv7改进主干ViT系列：全球首发最新MobileViTv3系列最佳改进版｜轻量化Transformer视觉转换器，巧妙融合本地全局和输入特征，高效提升计

IdfdFsharp的博客

09-18

739

近年来，计算机视觉领域的发展取得了巨大的突破，其中目标检测是一项重要的任务。You Only Look Once（YOLO）系列是目标检测领域的经典算法之一，而Vision Transformer(ViT)则是自然语言处理领域的Transformer模型在计算机视觉中的应用。为了进一步提升YOLOv7的性能，在本文中我们推出了全球首个最新MobileViTv3系列的最佳改进版，通过轻量化Transformer视觉转换器，巧妙地融合本地全局和输入特征，以高效提升计算机视觉任务的准确性和速度。

YOLOv7改进主干ViT系列：MobileViTv2结构的强化版——移动视觉Transformer的可分离自注意力机制

IpyVariable的博客

09-24

621

为了进一步提升物体检测的性能和效率，研究人员提出了一种新的改进方法，即将ViT与MobileNetv2结构相结合，形成了MobileViTv2结构，并引入了可分离自注意力机制。这种结构的设计使得MobileViTv2在保持较低的计算量和参数量的同时，能够更好地捕获图像中的语义信息。总结起来，MobileViTv2结构是YOLOv7和ViT的结合体，通过引入可分离自注意力机制，提升物体检测的性能和效率。它的设计兼顾了计算量和参数量的平衡，同时能够更好地捕获图像中的语义信息，从而提高物体检测的准确性和速度。

①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；

10-12

1713

RepViTBlock即插即用，助力检测 | 亲测在多个数据集能够实现涨点，并实现轻量化

YOLOv8 改进：利用 MobileViTv2 提升轻量化模型

走向CTO的路上...

06-13

1873

YOLOv8 作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，YOLOv8 模型的计算量仍然较大，在一些资源受限的场景下部署可能存在困难。为了解决这一问题，本文提出了一种利用 MobileViTv2 提升 YOLOv8 轻量化模型的方法，该方法可以有效降低模型的计算量，同时保持模型的精度。# 定义 MobileViTv2 主干网络这里的是指 MobileViTv2 模型的定义文件，需要包含 MobileViTv2 模型的所有模块和结构。

MobileViT、MobileViTv2、MobileViTv3学习笔记（自用）

热门推荐

互相学习的小博客

10-25

2万+

MobileViT、MobileViTv2、MobileViTv3学习笔记（自用）

YOLOV8改进：CVPR2023：加入EfficientViT主干：具级联组注意力的访存高效ViT

2201_76125261的博客

10-06

553

视觉变压器由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉变压器家族，名为EfficientViT。我们发现现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高的相似性，从而导致计算冗余。

芒果YOLOv7改进20：主干篇：全网首发最新 MobileViTv3 系列最强改进版本（三）｜轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征，高效涨点

包括YOLOv5、YOLOv7、YOLOv8等模型改进

11-11

6685

💡本篇文章基于 YOLOv5、YOLOv7、YOLOv7-tiny 等网络：首发最新结合 MobileViTv3 系列最强版本！：轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征, 本文将结合YOLO系列应用。

《YOLOv5/YOLOv7/YOLOv8最新改进大作战》专栏介绍 & 优快云独家改进创新实战 & 专栏目录

①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；

09-19

2466

YOLOv8添加MobileViTv3模块

weixin_43845798的博客

06-16

1371

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

MobileViTv2：移动视觉 Transformer 的高效可分离自注意力机制

带你成为别人眼中的大佬！

06-03

1493

在将输入特征图分别通过这三个卷积层之后，我们对其进行卷积操作，再将结果reshape成self.num_heads个通道数为out_channels的特征图，并进行softmax操作，最后将所得结果和value相乘并reshape回原来的形状，从而实现可分离自注意力机制。接着，在初始化时，我们对backbone_cfgs中定义的每层网络进行了遍历并按照给定的宽度倍数对该层网络进行缩放，同时用nn.ModuleList()将该层网络包裹起来方便网络的前向传播处理。

YOLOv8改进原创MobileViTv2系列：全新发布苹果续作加强版，MobileViTv2结构引入移动视觉Transformer的可分离自注意力机制，提升效

ZuoProgramming的博客

09-17

164

通过引入移动视觉Transformer的可分离自注意力机制，该模型在保持高效率的同时，提升了目标检测的性能。在YOLOv8改进原创MobileViTv2系列中，我们提出了一种新的加强版结构，旨在提高目标检测的性能和效率。该结构引入了移动视觉Transformer的可分离自注意力机制，通过自适应地学习图像中不同区域之间的关系，实现了更准确的目标检测。通过引入可分离自注意力模块，YOLOv8改进原创MobileViTv2系列模型能够更好地建模图像中的目标信息和上下文关系，从而提高目标检测的准确性和效率。

用mobilevit替换yolov7主干网络

05-30

MobileViT是一种轻量级的视觉Transformer网络，适用于移动设备和嵌入式设备。它由移动设备优化的ViT（Vision Transformer）的修改版本组成，用于高效的图像分类和目标检测。MobileViT的主干网络包含一个基于MobileNetV3的特征提取器和一个Transformer编码器。MobileNetV3用于提取特征图，而Transformer编码器用于对特征图进行建模。MobileViT的主干网络比YOLOv7更轻量级，可以在移动设备上进行快速的目标检测。以下是使用MobileViT替换YOLOv7主干网络的代码示例： ```python import torch.nn as nn from timm.models.layers import to_2tuple, trunc_normal_ from timm.models.vision_transformer import Mlp, DropPath, PatchEmbed, Attention class MobileViT(nn.Module): def __init__(self, img_size=224, num_classes=1000, patch_size=16, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., qkv_bias=True, drop_rate=0., attn_drop_rate=0., drop_path_rate=0., norm_layer=nn.LayerNorm): super(MobileViT, self).__init__() self.num_classes = num_classes self.patch_embed = PatchEmbed( img_size=img_size, patch_size=patch_size, in_chans=3, embed_dim=embed_dim) self.pos_drop = nn.Dropout(p=drop_rate) dpr = [x.item() for x in torch.linspace(0, drop_path_rate, depth)] self.blocks = nn.ModuleList([ Block( dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, drop=drop_rate, attn_drop=attn_drop_rate, drop_path=dpr[i], norm_layer=norm_layer) for i in range(depth)]) self.norm = norm_layer(embed_dim) self.head = nn.Linear(embed_dim, num_classes) if num_classes > 0 else nn.Identity() def forward(self, x): x = self.patch_embed(x) x = self.pos_drop(x) for blk in self.blocks: x = blk(x) x = self.norm(x) x = x.mean(dim=1) x = self.head(x) return x class Block(nn.Module): def __init__(self, dim, num_heads, mlp_ratio=4., qkv_bias=True, drop=0., attn_drop=0., drop_path=0., norm_layer=nn.LayerNorm): super(Block, self).__init__() self.norm1 = norm_layer(dim) self.attn = Attention( dim, num_heads=num_heads, qkv_bias=qkv_bias, attn_drop=attn_drop, proj_drop=drop) self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity() self.norm2 = norm_layer(dim) self.mlp = Mlp(in_features=dim, hidden_features=int(dim * mlp_ratio), out_features=dim, act_layer=nn.ReLU, drop=drop) def forward(self, x): x = x + self.drop_path(self.attn(self.norm1(x))) x = x + self.drop_path(self.mlp(self.norm2(x))) return x ``` 在这里，`MobileViT`类定义了MobileViT的主干网络，包含一个Patch Embedding层、多个Transformer Block层和一个全连接层。每个Transformer Block层包含一个多头自注意力层、一个前馈网络层和一个残差连接。与YOLOv7不同，MobileViT的主干网络是基于Transformer而不是卷积神经网络的。另外，MobileViT更加轻量级，适用于移动设备和嵌入式设备。