(九)：Pyramid Vision Transformer

最新推荐文章于 2025-10-18 16:15:01 发布
最新推荐文章于 2025-10-18 16:15:01 发布
阅读量688 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： “情感分析”研究方向论文-精读总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/115693445
本文介绍了Pyramid Vision Transformer (PVT)，一个无卷积的Transformer骨干网络，专为图像分类、目标检测和语义分割等密集预测任务设计。PVT克服了Transformer在密集预测中的挑战，通过金字塔结构和空间减少注意力层实现高分辨率特征图的高效学习，同时在COCO数据集上表现出优于ResNet50的性能。PVT不仅在性能上有所提升，而且结构上更为灵活，可以轻松适应多种下游任务。

文献阅读：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

  • 出处：CoRR abs/2102.12122 (2021)
  • 主要内容：PVT在ViT基础上引入了和CNN类似的金字塔结构，使得PVT像CNN那样作为backbone，应用在图像分类（分割和检测）等任务。
    在这里插入图片描述

Abstract

尽管使用卷积神经网络(CNNs)作为骨干在计算机视觉领域取得了巨大的成功，但这项工作研究了一种简单的骨干网络，对于许多没有卷积的密集预测任务很有用。不同于最近提出的用于图像分类的Transformer模型(如ViT)，我们提出了金字塔视觉变压器(PVT)，它克服了将Transformer移植到各种密集预测任务中的困难。与现有技术相比，PVT有几个优点：
(1)不同于ViT，通常ViT有低分辨率的输出和高成本的计算和内存，PVT不仅可以训练图像的密度分区上实现高输出分辨率,对密集的预测是很重要的,但也使用逐步缩小金字塔减少大型特征图的计算。
(2) PVT继承了CNN和Transformer的优点，通过简单地替换CNN骨干，使其成为各种视觉任务中不需要卷积的统一骨干。
(3)我们通过大量的实验验证了PVT，表明它提高了许多下游任务的性能，例如对象检测、语义和实例分割。例如，在相当数量的参数下，RetinaNet+PVT在COCO数据集上获得了40.4个AP，超过了RetinNet+ResNet50(36.3个AP)的

了解本专栏 订阅专栏 解锁全文
Transformer系列：Pyramid Vision Transformer （ICCV2021）
weixin_34992700的博客
06-23 2250
PVT overcomes the difficulties of porting Transformer to various dense prediction tasks.
二十六章：Pyramid Vision Transformer ——金字塔视觉Transformer:一种无卷积的用于密集预测的多功能主干网络
ADICDFHL的博客
07-20 1357
虽然卷积神经网络（CNN）在计算机视觉领域取得了巨大成功，但本研究探讨了一种更简单、无卷积的骨干网络，适用于许多密集预测任务。与最近提出的专门用于图像分类的Vision Transformer（ViT）不同，我们引入了克服了将Transformer应用于各种密集预测任务的困难。与当前最先进的方法相比，PVT具有几个优点：（1）与通常输出低分辨率结果且计算和内存开销较高的ViT不同，
大白话Pyramid Vision Transformer
我爱计算机视觉
03-02 5678
本文转载自知乎，已获作者授权转载。链接：https://zhuanlan.zhihu.com/p/353222035TL;DR这个工作把金字塔结构引入到Transformer[1]中，使得...
PVT（Pyramid Vision Transformer）：金字塔结构，适合检测/分割
最新发布
10-18 745
PVT（Pyramid Vision Transformer）是一种改进的视觉Transformer模型，旨在解决ViT在密集预测任务中的局限性。主要创新包括引入金字塔结构以生成多尺度特征，以及空间降采样注意力（SRA）来降低计算复杂度。PVT通过分层下采样和通道扩展，实现了类似CNN的金字塔特征表示，使其适用于目标检测和分割等任务。SRA通过下采样Key和Value减少计算量，同时保留全局建模能力。尽管PVT在通用性上优于ViT，但仍存在局部特征建模不足、细粒度信息丢失等问题。后续改进模型如Swin Tr
Pyramid Vision Transformer（PVT）
quan18833830265的博客
07-26 369
原文链接：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) our PVT overcomes the difficulties of the conventional Transformer by (1) taking fine-grained image patches (i.e., 4×4 pixels per patch
Vision Transformer之Pyramid Vision Transformer
画心
02-27 4305
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
Pyramid Vision Transformer（PVT）: 纯Transformer设计，用于密集预测的通用backbone
热门推荐
AI数据工厂
03-15 2万+
本文主要提出了一个纯Transformer的模型——PVT，可以作为下游密集预测的backbone使用。还设计了一个渐进缩减金字塔和一个空间缩减注意力层，在有限的资源下获取多尺度的、更高分辨率的输出。
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1883
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
PVT：Pyramid Vision Transformer 能接受高分图像的Transformer骨干网
prinTao的博客
10-19 345
参考资料 https://blog.youkuaiyun.com/weixin_44966641/article/details/118733341 http://jalammar.github.io/illustrated-transformer/ https://www.cnblogs.com/jins-note/p/14815511.html Transformer结构 Encoder-Decoder Transformer结构可以表示为Encoder和Decoder两个部分。Encoder和Decoder主要由
PVT v2：Improved Baselines with Pyramid Vision Transformer
m0_61387177的博客
11-03 1034
作者单位：1上海人工智能实验室，2南京大学，3香港大学，4南京理工大学，5IIAI， 6商汤科技Transformer最近在计算机视觉方面取得了令人鼓舞的进展。在这项工作中，作者通过添加三种设计来改进原始Pyramid Vision Transformer（PVT v1），从而提出了新的基线，包括（1）线性复杂度注意力层，（2）重叠补丁嵌入，和（3）卷积前馈网络。通过这些修改，PVT v2将PVT v1的计算复杂度降低到线性，并在分类，检测和分割等基本视觉任务上实现了显着改进。
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
jipinzhuo93的博客
03-05 2223
A. 问题 首先，对于dense prediction tasks，完全无卷积的的transformer backbone少有人研究。而VIT作为用在图像分类任务的完全transformer结构，很难直接应用于像素级别的dense prediction，例如目标检测与分割。原因：（1）只有一个尺度的低分辨率输出 （2）内存与计算复杂度限制。 为了解决完全transformer对于dense prediction的限制，提出PVT，与vit相比，好处（1）输入输出可以更小（4x4,...
《Pyramid Vision Transformer》论文笔记
Zssss12的博客
09-19 1707
尽管卷积神经网络 (CNN) 在计算机视觉中取得了巨大成功，但这项工作研究了一种更简单、无卷积的骨干网络，可用于许多密集预测任务。与最近提出的专门为图像分类设计的Vision Transformer (ViT) 不同，我们引入了金字塔视觉转换器 (PVT)，它克服了将 Transformer 移植到各种密集预测任务的困难。与现有技术相比，PVT有几个优点。(1) 与通常产生低分辨率输出并产生高计算和内存成本的 ViT 不同，PVT 不仅可以在图像的密集分区上进行训练以实现高输出分辨率，
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
m0_61899108的博客
08-22 3224
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
论文笔记 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
985小菜鸡
05-24 1697
通过以上设计，PVT不仅能够替代CNN骨干，还能在各种视觉任务中提供更好的性能，特别是在需要高分辨率和多尺度特征的任务中。通过以上贡献，PVT不仅解决了传统Transformer在密集预测任务中的困难，还在多个任务中展现出优越的性能，证明了其作为新型视觉骨干网络的潜力。PVT的设计使得其在资源消耗、灵活性和性能方面均具有显著优势。PVT模型被分为四个阶段，每个阶段由一个补丁嵌入层和若干个Transformer编码器层组成。
MyDLNote-Transformer : Pyramid Vision Transformer 一个无卷积的密集预测通用Backbone
u014546828的博客
07-05 839
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions paperhttps://arxiv.org/pdf/2102.12122.pdf Code is available at https://github.com/whai362/PVT Note:ImprovedPyramid Vision Transformer, PVTv2: Improved Baseli...
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 3804
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
PVT（Pyramid Vision Transformer）图像分类技术解析与应用指南
gitblog_00728的博客
06-27 559
PVT（Pyramid Vision Transformer）图像分类技术解析与应用指南 一、PVT项目概述 PVT（Pyramid Vision Transformer）是一种创新的视觉Transformer架构，专为密集预测任务设计。与传统的卷积神经网络不同，PVT完全基于Transformer结构，通过构建金字塔特征表示，能够有效处理不同尺度的视觉特征。 该项目包含两个主要版本： PVTv...
PVT(Pyramid Vision Transformer)学习记录
pengxiang1998的博客
05-16 5697
x为torch.Size([2, 3136, 64])，首先经过permute进行维度变换为torch.Size([2, 64,3136]),随后经过reshape为：torch.Size([2, 64, 56, 56])值得注意的是，只有stage1上patch=4，在后面的三个stage上patch都为2，这样也就参考卷积，其是一个二倍大小的关系。首先我们的输入图片为torch.Size([2, 3, 224, 224])，即batch-size=2，channel=3，W=H=224。
Pyramid Vision Transformer, PVT（ICCV 2021）原理与代码解读
00000cj的博客
06-07 3349
为了解决上述问题，作者提出了 Pyramid Vision Transformer (PVT)， PVT结合了卷积神经网络的金字塔结构和Transformer的全局感受野，旨在克服传统Transformer在处理密集预测任务时遇到的分辨率低、计算和内存开销大的问题。它可以作为 CNN 骨干网络的替代品，用于多种下游任务，包括图像级预测和像素级密集预测。具体包括：
pyramid vision transformer: a
08-22
Pyramid Vision Transformer (PVT)是一种用于密集预测的通用backbone，它是一种基于Transformer的设计。PVT的整体架构包括了Transformer编码器和其他细节。PVT的设计使得它可以应用于图像分类、目标检测和实例分割等任务。 PVT的整体架构包括了Transformer编码器和其他细节。Transformer编码器是PVT的核心组件，它通过自注意力机制和全连接层来建模输入图像的关系。PVT还采用了金字塔结构，通过在不同尺度上应用Transformer来捕捉图像中的多尺度信息。这种金字塔结构可以提高PVT在密集预测任务中的性能。 PVT还提供了相应的代码实现，包括了图像分类、目标检测和实例分割的代码。这些代码可以帮助研究人员和开发者更好地理解和应用PVT模型。 论文地址：PVT-V1版本论文 源码地址：PVT-v1-torch源码<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout ...](https://blog.youkuaiyun.com/qq_52053775/article/details/127700540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone](https://download.youkuaiyun.com/download/weixin_42715977/87625056)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及...](https://blog.youkuaiyun.com/m0_45971439/article/details/120495124)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值