Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions【ICCV2021】

最新推荐文章于 2024-11-17 18:43:21 发布
原创 最新推荐文章于 2024-11-17 18:43:21 发布 · 532 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #机器学习

该博客介绍了PyramidVisionTransformer（PVT），这是一种将Transformer的注意力机制与CNN的金字塔结构相结合的方法，用于生成多尺度特征图，以提升目标检测和实例分割等任务的性能。作者在编码器部分提出了减少K和V的空间尺寸的策略，以减小计算复杂性。此外，还讨论了一种灵感来自于局部注意力机制的优化方式，即仅对与查询最近的局部区域进行注意力操作，降低计算成本并保持效果。

Paper: https://openaccess.thecvf.com/content/ICCV2021/papers/Wang_Pyramid_Vision_Transformer_A_Versatile_Backbone_for_Dense_Prediction_Without_ICCV_2021_paper.pdf

Code: https://github.com/whai362/PVT

目录

文章动机

 Pyramid Vision Transformer(PVT)

启发

文章动机

许多CNN Backbones使用金字塔结构来完成目标检测、实例分割等任务，本文将CNN中的金字塔结构引入到Transformer中去，来生成multi-scale（多尺度）的特征图，来更好的完成这些任务。

 Pyramid Vision Transformer(PVT)

金字塔的结构如上图所示，由于本文方法对目前想做的研究没有太大的帮助，所以没细看。

启发

比较有意思的是在Encoder部分，作者在进行multi-head attention之前，将K和V的空间尺寸进行了缩减，目的是为了减小计算量。

 启发于本文中如下左图的机制，对于一个query，更新时可以并不是对所有的query进行attention，而是对欧氏空间中距离最近的local进行attention，其他的不care。（ps ： 这种想法很直接，可能已有人做）

Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及代码解析
Hide on bush
09-27 3756
Pyramid Vision Transformer1. Abstract2. Introduction3. Method3.1. Overall Architecture3.2. Transformer Encoder3.3. More Details4. PVT-V1代码解析4.1. main脚本4.2. pvt脚本4.2.1. PyramidVisionTransformer类的init4.2.2. PyramidVisionTransformer类的forward 论文地址：PVT-V1版本论文
PVT(Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions)
GY-赵的博客
08-30 562
大小的patch，计算transformer所需的资源巨大， 因此必须想办法减少计算代价。作者这里主要使用一种SRA的方法，将计算attention需要的输入 K，V通过一个线性投影，减少计算维度。attention的计算还是以前的公式。通过这些公式，可以计算出 Attention(·) 操作的计算/内存成本比 MHA 低。倍，因此它可以在资源有限的情况下处理更大的输入特征图/序列。的图片，经过一个PatchEmbeeding将其分割成。作为下一阶段的输入，以此类推可以得到不同分辨率的。.........
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 656
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
jipinzhuo93的博客
03-05 2233
A. 问题 首先，对于dense prediction tasks，完全无卷积的的transformer backbone少有人研究。而VIT作为用在图像分类任务的完全transformer结构，很难直接应用于像素级别的dense prediction，例如目标检测与分割。原因：（1）只有一个尺度的低分辨率输出 （2）内存与计算复杂度限制。 为了解决完全transformer对于dense prediction的限制，提出PVT，与vit相比，好处（1）输入输出可以更小（4x4,...
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 3828
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
二十六章：Pyramid Vision Transformer ——金字塔视觉Transformer:一种无卷积的用于密集预测的多功能主干网络
ADICDFHL的博客
07-20 1416
虽然卷积神经网络（CNN）在计算机视觉领域取得了巨大成功，但本研究探讨了一种更简单、无卷积的骨干网络，适用于许多密集预测任务。与最近提出的专门用于图像分类的Vision Transformer（ViT）不同，我们引入了克服了将Transformer应用于各种密集预测任务的困难。与当前最先进的方法相比，PVT具有几个优点：（1）与通常输出低分辨率结果且计算和内存开销较高的ViT不同，
【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2
zhe470719的博客
05-17 1万+
目录详情 详情 名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文 代码：官方代码 笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...
ICCV 2021 结果出炉！最全论文下载及分类汇总（更新中）
热门推荐
极市平台的技术博客
07-20 2万+
ICCV2021 最全整理：论文分类汇总 / 代码 / 项目 / 论文解读（待更新）： 此前我们对ICCV2019/2017、CVPR2021/2020/2019、ECCV2020进行了分类汇总整理，所有的内容都汇总于社区 or Github： https://github.com/extreme-assistant/ICCV2021-Paper-Code-Interpretation/edit/master/README.md https://bbs.cvmart.net/post/62 https:
Transformer综述(A Survey on Vision Transformer) 阅读学习笔记（二）-- transformer在计算机视觉领域的发展和应用
sazass的博客
03-10 7914
论文综述： 文章主旨：在本文中，我们回顾了这些视觉Transformer模型，将它们分为不同的任务，并分析了它们的优缺点。我们探讨的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进基于设备的实际应用。此外，我们还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，我们讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 A Survey on Vision
A Survey on Vision Transformer
woshilaixiazaidemiao的博客
05-24 1055
摘要 本文探讨的主要类别包括：主干网络、高/中级视觉、低级视觉和视频处理。 我们还包括有效的Transformer方法，用于将Transformer推进device-based的实际应用。 此外还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。 在本文的最后，讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 Introduction 高级视觉处理：对图像中所见内容的解释和使用。 中级视觉处理：将这些信息组织成物体和表面objects and su
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
m0_61899108的博客
08-22 3254
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
PVT：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文学习
dawnyi_yang的博客
04-04 3624
目录摘要论文结构方法CNN金字塔结构Transformer编码器维度分析实验及结果图像分类目标检测其他 摘要 PVT是把金字塔结构引入到Transformer中，使得它可以像ResNet那样无缝接入到各种下游任务中（如：物体检测，语义分割），同时也取得了非常不错的效果。 论文地址：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 代码地址：PVT 论文结构 第一部分介绍了以C
《Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions》论文翻译
最新发布
DTGshaodow的博客
11-17 955
原文链接：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions | IEEE Conference Publication | IEEE Xplore author={Wenhai Wang and Enze Xie and Xiang Li and Deng-Ping Fan and Kaitao Song and Ding Liang and Tong Lu and Ping
[论文评析] ArXiv-2021,Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convo
MasterQKK
08-11 907
Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convolutions Image-level prediction task Pixel-level dense prediction task 提出了所谓的Pyramid Vision Transformer (PVT), PVT可以作为各种密集预测任务的backbone。进一步将PVT个DETR结合可以构建端到端的目标检测系统， 无需Conv. o
论文笔记 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
985小菜鸡
05-24 1738
通过以上设计，PVT不仅能够替代CNN骨干，还能在各种视觉任务中提供更好的性能，特别是在需要高分辨率和多尺度特征的任务中。通过以上贡献，PVT不仅解决了传统Transformer在密集预测任务中的困难，还在多个任务中展现出优越的性能，证明了其作为新型视觉骨干网络的潜力。PVT的设计使得其在资源消耗、灵活性和性能方面均具有显著优势。PVT模型被分为四个阶段，每个阶段由一个补丁嵌入层和若干个Transformer编码器层组成。
Vision Transformer之Pyramid Vision Transformer
画心
02-27 4341
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
【神经网络】2021-ICCV-Pyramid Vision Transformer：用于无卷积密集预测的多功能骨干
weixin_42475026的博客
04-01 1173
尽管卷积神经网络 (CNN) 在计算机视觉领域取得了巨大成功，但这项工作研究了一种更简单、无卷积的骨干网络，可用于许多密集预测任务。与最近提出的专为图像分类设计的 Vision Transformer (ViT) 不同，我们引入了 Pyramid Vision Transformer (PVT)，它克服了将 Transformer 移植到各种密集预测任务的困难。与当前的技术水平相比，PVT 有几个优点。
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1887
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
Pyramid Vision Transformer（PVT）
quan18833830265的博客
07-26 378
原文链接：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) our PVT overcomes the difficulties of the conventional Transformer by (1) taking fine-grained image patches (i.e., 4×4 pixels per patch
pyramid vision transformer: a
08-22
- *3* [Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及...](https://blog.youkuaiyun.com/m0_45971439/article/details/120495124)[target="_blank" data-report-...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值