ResNet改进(20)：融合Swin Transformer与ResNet

于 2025-04-07 08:41:56 发布
阅读量453 收藏
点赞数 10
分类专栏： ResNet 改进【有效涨点！】 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_82355416/article/details/147034208
版权

本专栏代码均经过测试，可以直接替换项目中的模型，一键运行！

采用最新的即插即用模块，有效涨点！！

引言

在计算机视觉领域，卷积神经网络(CNN)长期以来一直是主流架构，而Transformer结构则在自然语言处理(NLP)领域取得了巨大成功。

近年来，Vision Transformer(ViT)的出现打破了这一界限，表明Transformer也能在视觉任务中表现优异。

本文将探讨一种创新的混合架构，它结合了经典的ResNet卷积网络与Swin Transformer模块的优势。

这种混合架构的设计理念是：在保留CNN强大局部特征提取能力的同时，引入Transformer的全局建模优势。我们实现的模型在ResNet18的基础上嵌入了一个简化版的Swin Transformer Block

了解本专栏 订阅专栏 解锁全文
YoloV8改进策略：BackBone改进|Swin Transformer赋能YoloV8，性能跃升的新篇章
m0_47867638的博客
09-16 2469
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
ResNet与Transformer的完美融合，低耗高效，准确率直逼99.13%！
最新发布
AIzhijie001的博客
11-25 1391
将这两种架构结合起来，旨在充分利用CNN的局部特征提取能力和Transformer的全局建模能力，以期在复杂视觉任务中取得更好的性能。通过结合这两种架构，模型不仅能够提取图像的局部细节特征，而且能够从全局角度理解图像的语义信息，从而更准确地进行分类和识别。提供了CNN、ResNet和ViT在胸部疾病多分类任务中的性能比较，为未来的研究和应用提供了参考。在S型错误的纠正中，结合了RoBERTa模型和n-gram语言模型，提高了纠正的准确性。
ResNet+Transformer双热点结合！性能、速度齐飙升！分分钟拿下CVPR
2401_88190197的博客
11-20 747
最近在CVPR24上，，经典真是永不过时，关键在于思路！其中文章SpikingResformer，便是通过该组合，对脉冲神经网络进行改进，效果卓越！该结合所以一直是发文热门，主要因为：其在让模型准确率和速度双飙升方面，不可替代！ResNet通过残差连接，能有效训练深层网络，高效提取局部特征。Transformer则善于捕捉全局依赖关系和长序列信息。两者融合，便能促进模型性能的提升。新模型GrapeLeafNet，识别准确率便高达99.56％。
结合创新！ResNet+Transformer，高性能低参数，准确率达99.12％
学姐带你玩AI的博客
04-12 6701
ResNet因其深层结构和残差连接，能够有效地从图像中提取出丰富的局部特征。同时，Transformer的自注意力机制能够捕捉图像中的长距离依赖关系，为模型提供全局上下文信息。这种策略结合了两者分别在处理空间、序列数据上的优势，强化了模型特征提取和全局理解方面的能力，比如高性能低参数的SpikingResformer，以及准确率高达99.12％的EfficientRMT-Net。本文整理了，并简单提炼了可参考的方法以及创新点，希望能给各位的论文添砖加瓦。论文以及开源代码需要的同学看文末。
Transformer（二）—— ResNet（残差网络）
深浅卡布星的博客
09-11 2061
统计学中的。
基于ResNet和Transformer的场景文本识别
deephub
06-30 9516
对于自然场景的文字识别我们会遇到了许多不规则裁剪的图像，其中包含文本表示。虽然已经引入了许多复杂的想法来从图像中提取确切的文本。例如光学字符识别 (OCR)、基于 RNN 的 seq2seq 注意方法都是被认为是从结构图像中提取序列信息的传统方法，但许多研究人员发现，很难处理不规则图像和训练时间使他们更加昂贵。基于 RNN 的 seq2seq 注意力方法需要输入的序列表示，这些输入因输入而异，因此很难训练数百万张图像。大多数时间模型无法预测文本或字符，因为我们正在处理自然场景图像。 基本上，如果我们选择任何
用于变化检测的基于transformer的连体网络
m0_46599997的博客
04-14 1133
摘要 提出的方法在一个连体网络架构中统一了分层结构的transformer编码器和多层感知机（MLP）解码器，以有效地呈现多尺度长距离细节来得到精确变化检测。 1 介绍 变化检测(CD)旨在从在不同时间获取的一对配准图像中检测相关变化。变化的定义通常根据应用而变化。人造设施(如建筑物、车辆等)的变化。)、植被变化和环境变化(例如，极地冰盖融化、森林砍伐、灾害造成的损害)通常被视为相关变化。更好的CD模型是能够识别这些相关变化，同时避免由季节变化、建筑物阴影、大气变化和照明条件变化引起的复杂的不相关变化的模型
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
读书郎
09-02 1625
本文提出了一种新的视觉转换器Swin Transformer，它可以作为计算机视觉的通用主干。将 Transformer 从语言适应视觉的挑战源于两个域之间的差异，例如视觉实体的规模变化很大，以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个分层 Transformer，其表示是使用 Shifted 窗口计算的。移位窗口方案通过将自注意力计算限制在不重叠的局部窗口上，同时允许跨窗口连接，从而带来了更高的效率。
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 1万+
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3902
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
8类CNN-Transformer混合架构魔改方案盘点，附23个配套模型＆代码
学姐带你玩AI的博客
01-17 1万+
为进一步提高模型的性能，我们将。目前，它已经成为我们研究视觉任务、发文章离不开的模型。针对CNN+transformer组合方向的研究也成为了当下计算机视觉领域研究中的大热主题。CNN-Transformer架构凭借众所周知的优势，在视觉任务上取得了令人瞩目的效果，它不仅可以提高模型在多种计算机视觉任务中的性能，还能实现较好的延迟和精度之间的权衡。为挖掘CNN-Transformer混合架构更多的潜力，有关于它的各种变体的研究也逐步增多。为了方便同学们了解，我这次就和大家分享该架构。
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer
gzq0723的博客
08-22 1121
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2207.05501.pdf计算机视觉研究院专栏作者：Edison_G来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉Transformer，即Next-ViT。Next-ViT能像CNN一样快速推断，并有ViT一...
【深度学习】CNN+Transformer汇总
zhe470719的博客
05-08 1万+
这里写目录标题参考前言cnn与transformerConformer(国科大&华为&鹏城)详情 参考 1.CNN+Transformer算法总结 前言 总结了2021年以来，所有将CNN与Transformer框架结合的CV算法 在卷积神经网络(CNN)中，卷积运算擅长提取局部特征，但在捕获全局特征表示方面还是有一定的局限性。 在Vision Transformer中，级联自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征的细节。 cnn与transformer CNN具有非常良好
TransUNet：基于 Transformer 和 CNN 的混合编码网络
weixin_37737254的博客
07-08 1万+
VisualTransformerAuthor：louwillMachine Learning Lab 在深度学习医学图像分割领域，UNet结构一直以来都牢牢占据着主导地位。自从2...
[2023年综述]将CNN和Transformer优势相结合的混合模型在计算机视觉领域的研究综述
热门推荐
qq_26402511的博客
07-25 3万+
近年来，CNN-Transformer混合模型在计算机视觉领域的研究已经成为热点话题之一。这种模型可以结合卷积神经网络（Convolutional Neural Network，CNN）和Transformer各自的优势，提高模型在多种计算机视觉任务中的性能。
重新思考：在ResNet与Transformer均适用的跳跃连接
阿木寺的博客
05-24 3568
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：集智书童该文主要是分析和讨论了跳跃连接的一些局限，同时分析了BN的一些限制，提出了通过递归的Skip con...
CVPR22 ｜CMT：CNN和Transformer的高效结合（开源）
qq_29462849的博客
06-30 8915
作者丨王云鹤@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/534567826编辑丨极市平台导读到底CNN和Transformer哪个更好？当然是强强联手最好。华为诺亚实验室的研究员提出一种新型视觉网络架构CMT，通过简单的结合传统卷积和Transformer，获得的网络性能优于谷歌提出的EfficientNet，ViT和MSRA的Swi...
论文导读：CoAtNet是如何完美结合 CNN 和 Transformer的
deephub
03-09 1万+
这篇文章主要介绍 Z. Dai 等人的论文 CoAtNet: Marrying Convolution and Attention for All Data Sizes。（2021 年）。 2021 年 9 月 15 日，一种新的架构在 ImageNet 竞赛中的实现了最先进的性能 (SOTA)。CoAtNet（发音为“coat”net）在庞大的 JFT-3B 数据集上实现了 90.88% 的 top-1 准确率。CoAtNet 在使用（相对）较差的数据集 ImageNet-21K（13M 图像）进行预训练
深入探讨分类模型：Swin Transformer与ResNet技术对比
在本文档中，我们将重点介绍几种先进的分类模型，包括Swin Transformer和ResNet。首先，我们会概述机器学习模型的基本概念以及它们在图片分类中的应用，接着详细讨论这些具体模型的结构和工作原理。" 机器学习模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

点我头像干啥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值