Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

最新推荐文章于 2025-04-15 15:25:55 发布
最新推荐文章于 2025-04-15 15:25:55 发布
阅读量2.1k 收藏 7
点赞数 1
分类专栏： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jipinzhuo93/article/details/114401367
版权
 

A. 问题

首先，对于dense prediction tasks，完全无卷积的的transformer backbone少有人研究。而VIT作为用在图像分类任务的完全transformer结构，很难直接应用于像素级别的dense prediction，例如目标检测与分割。

原因：（1）只有一个尺度的低分辨率输出 （2）内存与计算复杂度限制。

为了解决完全transformer对于dense prediction的限制，提出PVT，与vit相比，

好处（1）输入输出可以更小（4x4, vit是32x32），从而产生高分辨率的输出。（2）提出渐进收缩金字塔结构（progressive shringkin pyramid）显著减少计算量 （3）提出空间减少注意力层，进一步减少计算量(spatial-reduction attention)。

与CNN相比，PVT在每一步的特征提取过程中都考虑了全局感受野。

此外，有一个小问题，作者在介绍vision transformer相关工作的时候，这句话不知如何理解。

B. 方法

（1） 整体结构，有{F1,F2,F3,F4}四个级别的输出。

（2）金字塔结构

不同stage的结构是share的，控制输出的方法如下。

（3）Encoder

 

提出Spatial-Reduction Attention(SRA)替代MHA，减少计算量。不同之处在于SRA会降低K和V的大小。

C. 实验

（1）分类

1.28million训练，50k验证，1000类。8个V100，300epochs。没说训练时间。

（2）目标检测

COCO train2017数据集 （118kimage）,5k验证， 8 v100, batch 16。

（3）语义分割

ADE20K, 150类，20210张图训练。先在imagenet pre-train。4 v100, batch size 16, 80k循环。

（4）纯transformer（PVT+other transformer完成检测分割）

（5）消融实验

- Pyramid Structure: 4x4 patch效果

- Deeper vs Wider: deep 更有用

- 预训练

- 计算消耗

Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及代码解析
Hide on bush
09-27 3537
Pyramid Vision Transformer1. Abstract2. Introduction3. Method3.1. Overall Architecture3.2. Transformer Encoder3.3. More Details4. PVT-V1代码解析4.1. main脚本4.2. pvt脚本4.2.1. PyramidVisionTransformer类的init4.2.2. PyramidVisionTransformer类的forward 论文地址：PVT-V1版本论文
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 577
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 3574
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
从零开始：深入理解与代码实现Vision Transformer (ViT)
最新发布
qq_38334677的博客
04-15 1087
在自然语言处理 (NLP) 领域，Transformer 架构以其强大的序列建模能力掀起了一场革命，BERT、GPT 等模型的成功有目共睹。其核心的自注意力 (Self-Attention) 机制能够有效捕捉长距离依赖关系，打破了传统 RNN 和 CNN 在处理长序列时的限制。这不禁引人思考：如此强大的 Transformer，能否应用于计算机视觉 (CV) 领域？长期以来，卷积神经网络 (CNN) 凭借其局部性 (Locality) 和平移不变性 (Translation Invariance) 等归纳偏
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions【ICCV2021】
Iron_lyk Blog
05-22 421
Paper: https://openaccess.thecvf.com/content/ICCV2021/papers/Wang_Pyramid_Vision_Transformer_A_Versatile_Backbone_for_Dense_Prediction_Without_ICCV_2021_paper.pdf Code: https://github.com/whai362/PVT 目录 文章动机 Pyramid Vision Transformer(PVT) 启发 文章动机.
《Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions》论文翻译
DTGshaodow的博客
11-17 829
原文链接：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions | IEEE Conference Publication | IEEE Xplore author={Wenhai Wang and Enze Xie and Xiang Li and Deng-Ping Fan and Kaitao Song and Ding Liang and Tong Lu and Ping
论文笔记 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
985小菜鸡
05-24 1457
通过以上设计，PVT不仅能够替代CNN骨干，还能在各种视觉任务中提供更好的性能，特别是在需要高分辨率和多尺度特征的任务中。通过以上贡献，PVT不仅解决了传统Transformer在密集预测任务中的困难，还在多个任务中展现出优越的性能，证明了其作为新型视觉骨干网络的潜力。PVT的设计使得其在资源消耗、灵活性和性能方面均具有显著优势。PVT模型被分为四个阶段，每个阶段由一个补丁嵌入层和若干个Transformer编码器层组成。
PVT1-Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
m0_61387177的博客
11-03 1161
作者单位：1南京大学，2香港大学，3南京理工大学，4 IIAI ，5商汤科技虽然卷积神经网络（CNN）在计算机视觉领域取得了巨大的成功，但这项工作研究了一种更简单，无卷积的骨干网络，可用于许多密集的预测任务。不同于最近提出的视觉Transformer（ViT），这是专门为图像分类设计的，我们引入了金字塔视觉Transformer（PVT），它克服了移植Transformer到各种密集预测任务的困难。与现有技术相比，PVT具有几个优点。
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1822
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
PVT(Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions)
GY-赵的博客
08-30 499
大小的patch，计算transformer所需的资源巨大， 因此必须想办法减少计算代价。作者这里主要使用一种SRA的方法，将计算attention需要的输入 K，V通过一个线性投影，减少计算维度。attention的计算还是以前的公式。通过这些公式，可以计算出 Attention(·) 操作的计算/内存成本比 MHA 低。倍，因此它可以在资源有限的情况下处理更大的输入特征图/序列。的图片，经过一个PatchEmbeeding将其分割成。作为下一阶段的输入，以此类推可以得到不同分辨率的。.........
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
m0_61899108的博客
08-22 3024
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
PVT：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文学习
dawnyi_yang的博客
04-04 3346
目录摘要论文结构方法CNN金字塔结构Transformer编码器维度分析实验及结果图像分类目标检测其他 摘要 PVT是把金字塔结构引入到Transformer中，使得它可以像ResNet那样无缝接入到各种下游任务中（如：物体检测，语义分割），同时也取得了非常不错的效果。 论文地址：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 代码地址：PVT 论文结构 第一部分介绍了以C
[论文评析] ArXiv-2021,Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convo
MasterQKK
08-11 782
Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convolutions Image-level prediction task Pixel-level dense prediction task 提出了所谓的Pyramid Vision Transformer (PVT), PVT可以作为各种密集预测任务的backbone。进一步将PVT个DETR结合可以构建端到端的目标检测系统， 无需Conv. o
Vision Transformer之Pyramid Vision Transformer
画心
02-27 4123
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
二十六章：Pyramid Vision Transformer ——金字塔视觉Transformer:一种无卷积的用于密集预测的多功能主干网络
ADICDFHL的博客
07-20 1042
虽然卷积神经网络（CNN）在计算机视觉领域取得了巨大成功，但本研究探讨了一种更简单、无卷积的骨干网络，适用于许多密集预测任务。与最近提出的专门用于图像分类的Vision Transformer（ViT）不同，我们引入了克服了将Transformer应用于各种密集预测任务的困难。与当前最先进的方法相比，PVT具有几个优点：（1）与通常输出低分辨率结果且计算和内存开销较高的ViT不同，
【神经网络】2021-ICCV-Pyramid Vision Transformer：用于无卷积密集预测的多功能骨干
weixin_42475026的博客
04-01 918
尽管卷积神经网络 (CNN) 在计算机视觉领域取得了巨大成功，但这项工作研究了一种更简单、无卷积的骨干网络，可用于许多密集预测任务。与最近提出的专为图像分类设计的 Vision Transformer (ViT) 不同，我们引入了 Pyramid Vision Transformer (PVT)，它克服了将 Transformer 移植到各种密集预测任务的困难。与当前的技术水平相比，PVT 有几个优点。
Pyramid Vision Transformer（PVT）
quan18833830265的博客
07-26 281
原文链接：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) our PVT overcomes the difficulties of the conventional Transformer by (1) taking fine-grained image patches (i.e., 4×4 pixels per patch
【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2
zhe470719的博客
05-17 9699
目录详情 详情 名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文 代码：官方代码 笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...
论文阅读：PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_53086461的博客
11-08 2959
尽管卷积神经网络(cnn)在计算机视觉领域取得了巨大的成功，但本研究研究的是一种更简单、无卷积的骨干网络，可用于许多密集的预测任务。与最近提出的专门为图像分类而设计的视觉转换器(Vision Transformer, ViT)不同，我们引入了金字塔视觉转换器(Pyramid Vision Transformer, PVT)，它克服了将Transformer移植到各种密集预测任务中的困难。与目前的技术相比，PVT有几个优点。
pyramid vision transformer: a
08-22
- *3* [Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及...](https://blog.youkuaiyun.com/m0_45971439/article/details/120495124)[target="_blank" data-report-...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值