ResNet改进(27)：融合EfficientViT 高效混合网络设计

于 2025-04-13 13:18:38 发布
阅读量322 收藏
点赞数 11
分类专栏： ResNet 改进【有效涨点！】 文章标签： 网络 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_82355416/article/details/147190701
版权

在计算机视觉领域，卷积神经网络(CNN)和视觉Transformer(ViT)各有优势。

今天分享的是一种将两者巧妙结合的方案——在ResNet18基础上引入轻量化ViT模块的设计思路。

整体架构概览

这个混合网络主要由三部分组成：

  1. ResNet18骨干网络：作为特征提取器，去掉了原模型的平均池化层和全连接层

  2. 高效ViT模块：嵌入在ResNet18的最后阶段，融合局部与全局特征

  3. 分类头：简单的全局平均池化+全连接层

这种设计既保留了CNN强大的局部特征提取能力，又通过轻量化的注意力机制引入了全局建模的优势。

核心组件解析

1. 高效ViT模块设计

这个轻量化ViT模块(EfficientViTBlock)有几个精妙之处：

双分支结构：

了解本专栏 订阅专栏 解锁全文
ViT和ResNet：计算机视觉预训练模型
AI天才研究院
12-04 1204
引言 在当今快速发展的计算机视觉领域，预训练模型已经成为提高模型性能和泛化能力的重要手段。预训练模型通过在大规模数据集上预先训练，然后再将其应用于特定任务上，从而显著提高了模型的性能。本文将重点探讨两种重要的计算机视觉预训练模型：ViT（Vision Transformer）和ResNet（残差网络）。 首先，我们将简要介绍计算机视觉与预训练模
【YOLOv8】YOLOv8改进系列（1）----替换主干网络之EfficientViT(CVPR2023)
熬夜秃顶中......
02-19 2403
YOLOv8改进系列（1）----替换主干网络之EfficientViT(CVPR2023)
深度学习语义分割实战：ResNet 与 ViT 结合的模型解析
m0_69441654的博客
02-12 1203
ResNet 作为特征提取器，ViT 进行全局信息建模。数据增强、优化方法确保高质量的语义分割效果。IoU、mIoU、F1 评价指标监测模型性能。
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比， 在特征提取上的不同
a14285700的博客
03-13 2696
特征提取：卷积核通过在输入图像（或特征图）上滑动来提取特征。每个卷积核负责从输入数据中提取一种特定类型的特征，例如边缘、颜色变化、纹理等。，这些参数在训练过程中通过反向传播算法进行学习和更新。卷积操作本质上是对卷积核权重和输入图像片段（卷积核覆盖的区域）的元素进行，然后激活函数：卷积操作的输出通常会通过一个非线性激活函数（如ReLU）进行处理，以引入非线性特性，这对于学习复杂的特征和模式是必要的。多个卷积核：CNN层通常包含多个不同的卷积核，每个卷积核都可以捕捉输入数据的不同特征。
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比
a14285700的博客
03-13 1866
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比 1. 卷积神经网络 1.1 特点： 卷积+池化 （位置信息）天然携带，具有感知野, 位置信息在特征图上 最终得到的特征图的像素就是 patch 维度就是卷积核数（在vit是隐藏层) ， ** 卷积核的数量——>高维信息宽 **， （图片数量, 高维长度, 特征图宽, 特征图长） 2. ViT 2.1 Vision Transformer 本身不是用卷积核，没有卷积操作，位置信息，在patch
ViT 及 ViT和ResNet原理是否一样
yaohaishen的专栏
10-22 2382
链接：https://arxiv.org/abs/2010.11929 这个论文看下来，有这么几个重点需要去掌握： 将整张图片转化为多个patches，作为 TRM 的序列输入 输入的时候需要加入位置编码，三种位置编码：一维，二维，相对位置编码，这三种效果没有太大区别； TRM可以接受CNN的输出作为输入，作为一种TRM的混合结构，区别于VIT这种无卷积结构 可能是由于缺乏inductive biases，数据集上直接训练的VIT效果一般，需要先在大数据...
YoloV8改进策略：主干网络改进|SHViT高效视觉变换器（独家原创）
m0_47867638的博客
04-26 1098
SHViT是一种高效视觉变换器，通过优化设计和减少冗余，实现了低延迟和高精度的视觉任务处理。它采用大跨度patchify stem和单头注意力模块，避免了空间冗余和注意力头冗余，提高了计算效率和准确性。SHViT结合全局和局部信息，进一步提升性能，适用于资源受限设备。实验表明，SHViT在速度和准确率上均优于其他模型，如MobileViTv2，尤其在实时性要求高的应用中表现突出。SHViT模型关注宏观架构和微观多头自注意力（MHSA）的优化。
YoloV8改进策略：Block改进|SHViT高效视觉变换器（独家原创）
m0_47867638的博客
05-01 644
SHViT是一种高效视觉变换器，通过优化设计和减少冗余，实现了低延迟和高精度的视觉任务处理。它采用大跨度patchify stem和单头注意力模块，避免了空间冗余和注意力头冗余，提高了计算效率和准确性。SHViT结合全局和局部信息，进一步提升性能，适用于资源受限设备。实验表明，SHViT在速度和准确率上均优于其他模型，如MobileViTv2，尤其在实时性要求高的应用中表现突出。
YoloV8改进策略：主干网络改进|CAS-ViT在YoloV8中的创新应用与显著性能提升
m0_47867638的博客
08-27 1066
在深度学习与计算机视觉领域，模型效率与性能之间的平衡一直是研究者和开发者关注的焦点。特别是在实时检测与识别任务中，如YoloV8这类高效的目标检测模型，其主干网络的选择对整体性能具有决定性作用。近期，我们通过将CAS-ViT（卷积加性自注意力视觉Transformer）创新性地引入到YoloV8中，替换其原有的主干网络，实现了令人瞩目的性能提升，这一改进不仅彰显了CAS-ViT的强大潜力，也为YoloV8的进一步优化开辟了新路径。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
深度学习编程代码笔记VIT+MAE+RESNET18+数据集处理等
Silentambition的博客
05-25 805
提示：代码笔记，若有问题欢迎大家评论指出。
ResNet50 文艺复兴 | ViT 原作者让 ResNet50 精度达到82.8%，完美起飞
人工智能讲师分享前沿技术
05-22 1314
在计算机视觉方面，实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大。在本文中，将解决这个问题，并显著地弥补这2种模型之间的差距。 在实证研究中，作者的目标不是一定要提出一种新的方法，而是努力确定一种稳健和有效的配置方案，使最先进的大模型在实践中能够得到应用。本文证明了在正确使用的情况下，知识蒸馏可以在不影响大模型性能的情况下减小它们的规模。作者还发现有某些隐式的设计选择可能会极大地影响蒸馏的有效性。 作者的主要贡献是明确地识别了这些设计选择。作者通过一项全面的实证研究来支持本文的发现，在
2000字解读这篇比较ResNet和ViT差异的论文
学姐带你玩AI的博客
09-23 2145
前言 计算机视觉、机器学习，这两个词会让你想到什么？ 相信绝大多数人第一反应都是CNN（卷积神经网络），而持续关注这些领域发展的人，则会进一步联想到近几年大火的Transformer，它不仅在自然语言相关任务上表现优秀，在图像领域同样取得了相当不错的效果。 去年10月份Google推出的Vision Transformer (ViT)，就在图像识别任务上用更高的学习效率，达到了不亚于ResNet的精度。当一个模型性能达到SOTA之后，很自然地，人们就会想去探究它的原理，并和先前的模型进行比较。今年上半年，普
ICCV 2023 | EfficientViT: 面向边缘设备应用的SOTA语义分割模型，助力SAM高效推理
专注计算机视觉全栈知识分享
11-04 841
不同于先前的多尺度注意力机制模块，本文探索的关键点在于如何仅依赖对硬件友好的算子来实现同等的全局感受野和多尺度学习，这无疑就点名了。最终，该模型在性能和硬件效率之间取得了良好的平衡，为在边缘设备上部署语义分割应用提供了一种可行的解决方案。特别地，论文引入了一种轻量级多尺度注意力模块，该模块同时实现了全局感受野和多尺度学习，使用轻量级和硬件高效的操作，因此在边缘设备上相对于。全局注意力，将计算复杂度从二次降低到线性，同时保留了同等的特征提取能力，并能够很好的将全局感受野与多尺度学习结合起来。
ICCV 2023 | EfficientViT: 边缘设备语义分割新标杆！
CV_Autobot的博客
09-21 2229
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文导读本文旨在解决在边缘设备上部署最先进的语义分割模型所面临的计算成本过高的问题。作者指出，先前的语义分割模型通常依赖于自注意力机制、计算密集型的大卷积核或复杂的拓扑结构，以获得良好的性能，但这些方法不...
CVPR 2023 | 港中文联合微软研究院推出基于级联分组注意力模块的全新实时网络架构模型 EfficientViT
专注计算机视觉全栈知识分享
05-20 995
本文提出了模型，通过优化内存效率和注意力计算冗余，实现了高速且内存高效的视觉模型，并在实验中展示了它在速度和准确性方面的优越性能。此外，本文代码已开源，同时提供了转onnx等示例，提速非常明显，欢迎大家踊跃尝试！
【YOLOv8】YOLOv8改进系列（2）----替换主干网络之FasterNet（CVPR 2023）
最新发布
熬夜秃顶中......
02-23 3905
YOLOv8改进系列（2）----替换主干网络之FasterNet（CVPR 2023）
YOLOv10改进 | 主干/Backbone篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)
Snu77的博客
07-14 863
本文给大家带来的改进机制是主干网络，一个名字的特征提取网络(和之前发布的只是同名但不是同一个)其基本原理是提升视觉变换器在高效处理高分辨率视觉任务的能力。它采用了创新的建筑模块设计包括三明治布局和级联群组注意力模块。其是一种高效率的特征提取网络训练速度非常快，推理速度也要比基础版本的要快，其效果完爆之前的MobileNetV3等轻量化网络模型。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。欢迎大家订阅我的专栏一起学习YOLO!
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

点我头像干啥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值