为什么会有CNN+Transformer这样的结构？

最新推荐文章于 2025-09-28 16:45:12 发布
原创 最新推荐文章于 2025-09-28 16:45:12 发布 · 998 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn #transformer #人工智能 #深度学习 #机器学习 #神经网络 #卷积神经网络

为进一步提高模型的性能，我们将CNN在局部特征提取方面的优势与Transformer在全局信息建模方面的优势两相结合，提出了CNN-Transformer*混合架构。目前，它已经成为我们研究视觉任务、发文章离不开的模型。针对CNN+transformer组合方向的研究也成为了当下计算机视觉领域研究中的大热主题。

CNN-Transformer架构凭借众所周知的优势，在视觉任务上取得了令人瞩目的效果，它不仅可以提高模型在多种计算机视觉任务中的性能，还能实现较好的延迟和精度之间的权衡，为挖掘CNN-Transformer混合架构更多的潜力，有关于它的各种变体的研究也逐步增多。

为了方便同学们了解CNN-Transformer的最新进展与研究思路，学姐这次就和大家分享该架构常用的8种魔改方法，分为早期层融合、横向层融合、顺序融合、并行融合、模块融合、分层融合、基于注意力的融合、通道增强融合。每种方法的代表性模型以及配套的论文代码也都整理了，希望同学们阅读后可以获得缝合模块的启发，快速涨点。

模型论文＋项目代码＋学习资料需要的同学关注“AI技术星球”公众号，关注后回复“221C”获取。

1.早期层融合

Hybrid ViT+

论文: AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITIONAT SCALE

用于大规模图像识别的Transformer

简述:Transformer架构在自然语言处理中很成功，但在计算机视觉中的应用有限。目前，注意力机制主要与卷积神经网络结合使用。我们发现，可以直接在图像补丁序列上应用纯Transformer它在图像分类任务上表现很好，与最先进的卷积神经网络相比，VisionTransformer(ViT)在多个基准测试中取得了出色的结果，而且训练所需的计算资源大大减少。



DETR

论文:End-to-End Object Detection with Transformers

使用Transformers进行端到端目标检测

简述:论文提出了一种新的目标检测方法，将目标检测看作是一个直接集合预测问题。这种方法简化了检测流程，不需要像非最大抑制或锚点生成这样的手动设计组件。新方法的主要成分包括一个全局损失和一个变压器编码器-解码器架构。它通过推理对象之间的关系和全局图像上下文，直接并行输出最终预测集，这个模型概念简单，不需要专门的库，在COCO数据集上的准确性和运行时性能与Faster R-CNN相当。


LeViT+

论文:LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference

用于更快推理的 ConvNet 服装中的视觉transformer

简述:论文设计了一种名为LeViT的混合神经网络架构，用于快速推理图像分类。该架构结合了卷积网络和视觉Transformer的优点，并引入了一些新的方法来提高准确性和效率。作者在不同硬件平台上进行了广泛的实验，结果表明LeViT在速度/准确性权衡方面优于现有的卷积网络和视觉Transformer.


模型论文＋项目代码＋学习资料需要的同学，下方vx扫一扫即可无偿获取


CPVT+

论文:CONDITIONAL POSITIONAL ENCODINGS FOR VISION TRANSFORMERS

视觉transformer的条件位置编码

简述:论文提出了一种条件位置编码方案，用于视觉transformer。与先前的位置编码不同，作者的方案是动态生成的，并根据输入令牌的局部邻域进行条件化。这使得该方案可以推广到比模型在训练过程中见过的任何序列更长的输入序列，并提高了性能。作者还使用一个简单的位置编码生成器实现了该方案，并将其命名为条件位置编码视觉transformer(CPVT)。



模型论文＋项目代码＋学习资料需要的同学，下方vx扫一扫即可无偿获取

CNN+Transformer实现遥感影像建筑物分割
hanfeng5268的博客
04-09 799
该框架结合了CNN的局部特征提取能力和Transformer的全局关系建模，适用于高分辨率遥感影像的建筑物分割任务。卷积核的滑动窗口机制天然适配图像数据的局部相关性，能高效捕捉建筑物边缘、纹理等细节特征（如屋顶边缘、窗户排列模式）通过权值共享保持特征的空间一致性，对建筑物不同位置的重复结构（如规则排列的住宅区）具有稳定识别能力。通过多级下采样逐步抽象特征，构建从边缘→纹理→语义的多尺度表达（如从砖瓦细节到整体建筑轮廓）通过注意力权重自动聚焦关键区域（如区分密集城区与孤立建筑物的特征重要性）
CNN和Transformer创新结合，模型性能炸裂！
chen695969的博客
06-17 3793
此研究方向的发展不仅推动了深度学习技术的进步，也为实际应用提供了更丰富的解决方案。- 单分支CNN与transformer的结合：SCTNet创新地将单分支CNN与训练时使用的transformer语义分支结合起来，既保持了推理时的高效率，又能够利用transformer捕获丰富的语义信息。- 混合网络架构：提出了一种结合卷积神经网络（CNN）和Transformer的混合超分辨率（SR）网络，以聚合丰富的特征，包括CNN的局部特征和Transformer捕获的长距离多尺度依赖性。
CNN-Transformer的结合模型
qq_62412943的博客
05-14 4606
卷积神经网络（CNN）是一种特殊的深度学习模型，它在图像处理领域取得了巨大的成功，并且在其他领域如自然语言处理、推荐系统和语音识别中也得到了广泛的应用。CNN的设计受到了人类视觉系统的启发，特别关注于如何从图像中自动学习和提取有用的特征。：激活函数在神经网络中起到至关重要的作用，它们增加了模型的非线性，从而使模型能够学习和逼近复杂的函数。：池化层通常用于降低特征映射的维度，减少计算需求，并增加模型的鲁棒性。：在全连接层中，模型会将前面层学习到的空间特征转换为用于分类或回归任务的输出。
必学！CNN与Transformer融合的4种方法详解，从入门到精通，建议收藏！
最新发布
Android23333的博客
09-28 1128
CNN与Transformer融合是计算机视觉领域的重要研究方向。文章详细介绍了四种主流融合方法：串行式融合（CNN作为骨干，Transformer处理高级特征）、并行式融合（双分支处理并融合特征）、层级式/混合式融合（在不同尺度引入Transformer）以及核心模块替换（将特定CNN层替换为Transformer层）。每种方法都有其优缺点和适用场景，当前趋势是向深度层级混合架构演进，结合两者的归纳偏差构建更高效的视觉模型。
融合创新！CNN-Transformer时间序列预测
m0_61878377的博客
06-09 2805
混合 CNN-Transformer 模型结合了 CNN 在局部特征提取和 Transformer 在捕捉长期依赖关系中的优势。本文将使用CNN-Transformer完成电力负荷多元时间序列预测，这个模型当前用的人还比较少，且不仅适用于电力负荷预测，如光伏预测、股价预测等时间序列预测也是可以用的。CNN 和 Transformer 的结合确保了模型有效地捕捉局部和全局模式，从而增强其时间序列数据预测的性能。num_heads：多头注意力机制的头数，表示每个注意力层的注意力头数量。
CNN与Transformer的结合-BoTNet
weixin_43731225的博客
03-14 1万+
简单学习BoTNet 1.简单介绍 如今transformer热度较高，越来越多的人都来研究transformer，并将其用于CV领域，下图（出自BoTNet论文）就介绍了当前self-Attention在CV领域的应用，而本篇文章的主角BoTNet就是利用CNN+transformer的方式提出一种Bottleneck Transformer来代替ResNet Bottleneck。 2.大体结构 如图所示总体结构比较简单，就是在ResNet-50的结构基础上将C5的三个Bottleneck替换为带MH
[2023年综述]将CNN和Transformer优势相结合的混合模型在计算机视觉领域的研究综述
热门推荐
qq_26402511的博客
07-25 3万+
近年来，CNN-Transformer混合模型在计算机视觉领域的研究已经成为热点话题之一。这种模型可以结合卷积神经网络（Convolutional Neural Network，CNN）和Transformer各自的优势，提高模型在多种计算机视觉任务中的性能。
【图像分类】CNN+Transformer结合系列.3
m0_61899108的博客
07-31 6995
​ ​ 介绍两篇图像分类的论文：ResMLP（arXiv2305），MetaFormer（CVPR2022），两者都与Transformer有关系，前者基于transformer结构的特点设计ResMLP，后者认为宏观架构才是Transformer成功的原因并设计一个简单的PoolFormer结构。 ​ ​
CNN+Transformer的图像和文字解析能力
keshi_21的博客
12-06 1473
卷积神经网络（CNN）利用卷积操作提取图像中的局部特征，通过卷积层和池化层逐步减少空间维度，从而使得网络能够关注不同尺度的特征。CNN的优势体现在以下几个方面：局部感知：CNN能够高效地捕捉局部特征，特别适用于处理图像、视频等具有局部空间结构的数据。共享权重：卷积核的权重共享使得CNN能够减少参数数量，提高计算效率。
下一代视觉Transformer：CNN+Transformer=Better
2401_88556812的博客
11-06 1520
近年来，研究者们开始探索将这两种模型结合起来，以期在视觉任务中取得更好的性能。单分支CNN的设计：提出了一种新颖的单分支实时分割网络SCTNet，通过从Transformer对齐语义信息，实现了Transformer的高精度和轻量级单分支CNN的快速推理速度。语义信息对齐模块（SIAM）：提出了一种有效的对齐模块，通过训练过程中的特征学习，对齐Transformer和CNN的特征。成对特征的增强：通过成对CNN和成对Transformer特征的融合，提出了一种增强的表示方法，优于单独使用任一特征。
CNN+Transformer.zip
08-25
【标题】"CNN+Transformer.zip" 提供了一个融合卷积神经网络（CNN）与Transformer架构的Tensorflow项目，...通过理解并实现这样的项目，开发者可以深化对CNN和Transformer的理解，同时提升在深度学习领域的综合技能。
神经网络大作业：公式识别，两种模型（CNN+RNN ResNet+Transformer）
08-15
本大作业聚焦于利用神经网络模型进行公式识别，提出并比较了两种不同的架构：卷积神经网络（CNN）与循环神经网络（RNN）的组合模型，以及具有深度残差网络（ResNet）和Transformer结构的混合模型。 首先，CNN擅长从...
霸榜顶会顶刊！CNN+Transformer强强联手实现性能巅峰！
m0_73122726的博客
08-11 551
【深度学习新突破：Transformer与CNN融合模型在医学图像分析中的应用】近期研究显示，Transformer与CNN的混合架构在医学图像处理领域取得重要进展。
8类CNN-Transformer混合架构魔改方案盘点，附23个配套模型＆代码
学姐带你玩AI的博客
01-17 1万+
为进一步提高模型的性能，我们将。目前，它已经成为我们研究视觉任务、发文章离不开的模型。针对CNN+transformer组合方向的研究也成为了当下计算机视觉领域研究中的大热主题。CNN-Transformer架构凭借众所周知的优势，在视觉任务上取得了令人瞩目的效果，它不仅可以提高模型在多种计算机视觉任务中的性能，还能实现较好的延迟和精度之间的权衡。为挖掘CNN-Transformer混合架构更多的潜力，有关于它的各种变体的研究也逐步增多。为了方便同学们了解，我这次就和大家分享该架构。
CNN+Transformer解说
owolai的博客
10-01 1237
CNN（卷积神经网络）和Transformer是两种在深度学习领域广泛使用的模型架构，它们在处理不同类型的数据和任务时各有优势。CNN擅长捕捉局部特征和空间层次结构，而Transformer擅长处理序列数据和长距离依赖关系。将CNN与Transformer结合，可以创建出一种新的模型架构，这种架构能够同时利用CNN在图像处理中的优势和Transformer在处理序列数据中的优势。
融合Transformer与CNN，实现各任务性能巅峰，可训练参数减少80%
学姐带你玩AI的博客
05-11 3366
众所周知，通过多层卷积自动学习空间层级特征，能够有效提取图像局部特征。而通过自注意力机制全局建模，能够有效处理长距离依赖关系。通过结合这两者的优势，我们不仅可以还能举个栗子：混合架构Lite-Mono。该模型主要包含两个模块，CDC模块用于提取增强的多尺度局部特征，LGFI模块用于编码长距离的全局特征。实验表明，Lite-Mono在精度上优于Monodepth2，可训练参数减少了80%左右。目前，这种策略通过多种方式融合两种模型的优点。主流的方法包括早期层融合、横向层融合、顺序融合、并行融合等。
【半监督学习】CNN与Transformer的结合
m0_61899108的博客
11-19 4884
​本文介绍了几篇结合使用CNN和Transformer进行半监督学习的论文，CNN&Trans（MIDL2022），Semi-ViT（ECCV2022），Semiformer（ECCV2022）。
Transformer和CNN
qq_43275608的博客
02-19 2623
多层CNN在捕捉全局上下文信息和长距离依赖关系方面存在局限性，主要体现在局部感受野的限制、长距离依赖问题、并行化能力不足、计算复杂度高以及特征提取能力有限等方面。相比之下，Transformer通过自注意力机制有效解决了这些问题，使其在处理全局信息和长距离依赖关系方面具有显著优势。
【图像分类】CNN + Transformer 结合系列.1
m0_61899108的博客
07-24 1万+
​ 介绍三篇结合使用CNN+Transformer进行学习的论文：CvT（ICCV2021），Mobile-Former（CVPR2022），SegNetr（arXiv2307）. ​
CNN+transformer模型都有什么
08-26
这些混合模型展示了CNN与Transformer结合的多种可能性，为计算机视觉任务提供了更加灵活和高效的解决方案。随着研究的深入，未来可能会出现更多创新的混合架构，进一步推动该领域的发展[^1]。 ```python # 示例代码...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值