YOLO算法改进Backbone系列之：PVTv2

最新推荐文章于 2024-06-07 19:38:02 发布
最新推荐文章于 2024-06-07 19:38:02 发布
阅读量1.6k 收藏 17
点赞数 19
文章标签： YOLO 算法 目标检测 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sc1434404661/article/details/136408041
版权
本文介绍了PVTv2，通过改进线性复杂度注意层、重叠斑块嵌入和卷积前馈网络，降低了PVTv1的计算成本并增强局部连续性。PVTv2在视觉任务上表现出色，且在YOLOv5中作为backbone被应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要：最近，Transformer在计算机视觉方面取得了令人鼓舞的进展。在本研究中，本文通过增加(1)线性复杂度注意层、(2)重叠贴片嵌入和(3)卷积前馈网络三种设计，改进了原始的金字塔视觉转换器(PVT v1)，提出了新的基线。通过这些改进，PVT v2将PVT v1的计算复杂度降为线性，并在分类、检测和分割等基本视觉任务上实现了显著改进。值得注意的是，PVT v2与Swin Transformer等最近的作品相比，取得了相当或更好的性能。本文希望这项工作将促进最先进的变压器在计算机视觉的研究。

相较于PVT，PVTv2增加了三部分 (1) Linear complexity attention layer, (2) Overlapping patch embedding (3) Convolutional feed-forward network.
PVT存在的三点限制：
（1）与ViT类似，当处理高分辨率输入时，PVT v1的计算复杂度相对较大
（2）PVT v1将图像视为非重叠块序列，这在一定程度上失去图像的局部连续
（3）PVT v1中的位置编码是固定大小，这对于任意大小的处理图像是不灵活的

Linear Spatial Reduction Attention (Linear SRA)

在这里插入图片描述

首先为了降低注意操作引起的高计算成本，本文提出了线性空间注意（Linear SRA）层ÿ

最低0.47元/天 解锁文章
BestSongC
关注
【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2
zhe470719的博客
05-17 9791
目录详情 详情 名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文 代码：官方代码 笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...
YOLO算法改进Backbone系列之：PVT
sc1434404661的博客
04-07 1032
与现有技术相比，PVT有如下优点：（1）相比于ViT的低分辨率输出、高计算复杂度、高内存占用，PVT不仅可以对图像进行密集划分训练以达到搞输出分辨率的效果（这对密集预测很重要），还可以使用一个逐渐缩小的金字塔来降低大feature maps的计算量；CNN通过stack CNN 层来学习一个层次化的feature representations, 并且随着层数的增加，感受野越来越大, channel数越来越大，feature map尺寸越来越小，然后后边连接一到多个特定的任务网络来执行具体的任务
PVTV2--Pyramid Vision TransformerV2学习笔记
charles_zhang_的博客
07-04 3115
PVTv2: Improved Baselines with Pyramid Vision TransformerTransformer最近在计算机视觉方面取得了令人鼓舞的进展。在这项工作中，我们通过添加三种设计来改进原始金字塔视觉变换器（PVTv1），提出了新的基线，包括**（1）线性复杂度注意层，（2）重叠面片嵌入和（3）卷积前馈网络**。通过这些修改，PVTv2将PVTv1的计算复杂度降低为线性，并在基本视觉任务（如分类、检测和分割）上实现了显著改进。值得注意的是，拟议的PVTv2实现了与最近的工作（
​PVTv2来了！金字塔视觉Transformer重磅升级！三点改进，性能大幅提升
热门推荐
阿木寺的博客
06-29 1万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalkerPVTv2: Improved Baselines with Pyramid Vision ...
【Computer Vision论文笔记】PVT && PVTv2
zjy_cn的博客
10-07 924
Pyramid Vision Transformer(PVT) 是致力于密集预测的主干网络的研究，是一个由Transformer组成的金字塔结构的网络，能够在多种视觉任务中使用。金字塔结构是CNN中一种非常经典的设计，作者在此将其应用到Transformer中，如下图：图（a）所示的 CNN 结构，feature maps会随着网络深度的增加，大小逐渐缩小。图（b）是ViT的维度变化情况，输入与输出大小保持不变。结合两者，就有了图（c）所示的一Tansformer为基础的金字塔结构。
PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_52302919的博客
11-11 4595
论文地址：https://arxiv.org/pdf/2106.13797.pdf代码地址： https://github.com/whai362/PVT。
YOLO算法改进Backbone系列之:ParC-Net
sc1434404661的博客
04-24 1038
实验结果表明，在常见的视觉任务和数据集上，所提出的ParC-Net在参数更少、推理速度更快的情况下，取得了比流行的轻量级卷积神经网络和基于视觉transformer的模型更好的性能。在ImageNet-1k上，ParC-Net使用约500万个参数实现了78.6%的top-1准确率，节省了11%的参数和13%的计算成本，但与MobileViT相比，准确率提高了0.2%，推理速度提高了23%(基于ARM的瑞芯RK3288)，与DeIT相比，仅使用0.5个参数，准确率提高了2.7%。
YOLO算法改进Backbone系列之：CAT
sc1434404661的博客
03-23 686
这两种操作都比标准Self-Attention所需的计算量要小，替换为这两种操作后本文可以在降低计算成本的同时保持较好的性能，并且为解决视觉任务建立也一种称之为Ctrss Attention Transformer(CAT)的层次网络，在COCO数据集和ADE20K数据集上的实验结果证明了CAT可以作为一种通用的backbone。npw，这里计算过程中是把每个patch内部单一通道上的空间维度作为了每个patch信息的表示，从而通过相似性计算将这一维度给吸收了。pw的attention矩阵。
YOLO算法改进Backbone系列之DaViT
sc1434404661的博客
04-08 951
为了减少计算量，两种self-attention均采用分组的attention：对于spatial token而言，就是在空间维度上划分成不同的windows，这就是Swin中所提出的window attention，论文称之为spatial window attention；（2）对channel tokens进行self-attention，这和前面的处理完全相反，此时channel维度（C）定义了tokens的数量，而空间维度（HW）定义了tokens的特征大小。
【YOLO改进】换遍MMDET主干网络之Pyramid Vision Transformerv2（PVTv2）（基于MMYOLO）
Vlone_pp的博客
05-11 1338
Pyramid Vision Transformer v2（PVTv2）是在PVTv1的基础上进行改进的一种深度学习模型，它同样结合了Transformer架构和金字塔结构，旨在提供更强大的特征表示和更好的性能。通过这些改进，PVTv2在多个基本视觉任务（如分类、检测和分割）上实现了显著的性能提升，并且在参数量和计算量方面也具有更好的优化。
pvtv_backbone
06-03
PVTv2 pretrained: pretrained model from deformable-DETR. TransCenter V2的预训练模型
论文阅读：PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_53086461的博客
11-08 3080
尽管卷积神经网络(cnn)在计算机视觉领域取得了巨大的成功，但本研究研究的是一种更简单、无卷积的骨干网络，可用于许多密集的预测任务。与最近提出的专门为图像分类而设计的视觉转换器(Vision Transformer, ViT)不同，我们引入了金字塔视觉转换器(Pyramid Vision Transformer, PVT)，它克服了将Transformer移植到各种密集预测任务中的困难。与目前的技术相比，PVT有几个优点。
PVT v2 原理与代码解析
最新发布
00000cj的博客
06-07 2675
针对PVT v1存在的问题，PVT v2引入了以下改进 线性空间降维注意力：通过使用线性空间降维注意力（linear spatial reduction attention）来降低计算成本 重叠的patch embedding：通过重叠的patch embedding来保留图像的局部连续性 卷积FFN：通过引入卷积feed-forward network来增强特征表示能力，并去掉了固定大小的位置编码，采用zero padding位置编码，从而提高了处理任意大小输入的灵活性
论文精读:PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_52053775的博客
11-12 2000
论文地址:https://arxiv.org/abs/2106.13797源码地址:https://github.com/whai362/PVT 在这项工作中，作者改进了PVT v1，提出了新的基线，包括(1)线性复杂度注意层，(2)重叠patch嵌入，(3)卷积前馈网络。通过这些修改，PVT v2将PVT v1的计算复杂度降低到线性，并在分类、检测和分割等基本视觉任务上取得了显著的改进。 PVT v1 [33]有三个主要限制： (1)与ViT [8]类似，当处理高分辨率输入（
Transformer主干网络——PVT_V2保姆级解析
qq_37668436的博客
01-14 1万+
前言 论文地址：PVT2 代码地址：github 系列文章 Transformer主干网络——PVT_V1保姆级解析 Transformer主干网络——PVT_V2保姆级解析 动机 出发点：对PVT1进行优化 vit和pvt_v1对图像用4*4大小的patch进行编码，这样忽略了一定的图像局部连续性。 vit和pvt_v1都是用固定大小的位置编码，这样对处理任意大小的图像不友好。 计算量还是大 网络分析 主题结构还是承接上文，大框架如下（已经在上篇博文详细解析了输入到输出的变化，主体结构不再赘述）：
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 599
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
CVPR2021|PVT--无卷积密集预测的多功能backbone
CV技术指南（微信公众号）
07-05 524
前言： 卷积神经网络(CNN)在计算机视觉领域取得了显著的成功，几乎成为所有计算机视觉任务中的一种通用和主导方法。 受transformer在自然语言处理(NLP)的成功，许多研究人员正试图探索transformer的应用，一些工作模型视觉任务作为字典查找问题可学习查询，并使用transformer decoder作为一个特定任务的头的CNN主干，如VGG和ResNet。而一些现有技术已经将注意力模块纳入到CNNs中。 论文：https://arxiv.org/pdf/2102.12122.pdf
ICCV 2021 Oral | 金字塔视觉Transformer(PVT)：用于密集预测的多功能backbone
阿木寺的博客
07-23 987
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文作者：whai362 | 来源：知乎（已授权）https://zhuanlan.zhihu.com/p/35322...
阅读pvt v1 和 pvt v2 论文笔记
yanyanyanzi111的博客
08-30 2053
pvt 2篇论文的代码在原论文中有所标注，由于时间关系，以后再将对源代码进行解读。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值