PVT：Pyramid Vision Transformer 能接受高分图像的Transformer骨干网

最新推荐文章于 2024-11-03 15:45:12 发布
最新推荐文章于 2024-11-03 15:45:12 发布
阅读量298 收藏
点赞数
分类专栏： 灵感论文阅读 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/prinTao/article/details/120856244
版权

参考资料

https://blog.youkuaiyun.com/weixin_44966641/article/details/118733341
http://jalammar.github.io/illustrated-transformer/
https://www.cnblogs.com/jins-note/p/14815511.html

Transformer结构

Encoder-Decoder

Transformer结构可以表示为Encoder和Decoder两个部分。Encoder和Decoder主要由Self-Attention和Feed-Forward Network两个组件构成，Self-Attention由Scaled Dot-Product Attention和Multi-Head Attention两个组件构成。
Scaled Dot-Product Attention公式：

Multi-Head Attention公式：

Feed-Forward Network公式：

Positional Encoding

对位置编码，加入到Embedding的向量上。

Self Attention

Scaled Dot-Product Attention

点积Attention
公式

Multi-Head Attention

多头AttentionScaled Dot-Product Attention和Multi-Head Attention都加入了short-cut机制

论文总结

In short

QKV使得attention map计算复杂度和显存使用量呈平方O(n^2)增大，使用SRA对其KV的特征图进行限制

论文原文

公式

图

Self-Attention 使用矩阵点乘进行的余弦相似度计算

QKV是什么

Querys Keys Values

MICCAI‘23 | PIViT：基于金字塔-迭代视觉Transformer的大变形图像配准
小白学视觉
02-07 98
大变形图像配准是医学图像配准中的一项挑战性任务。迭代配准和金字塔配准是两种常见的基于CNN的方法。然而，这些方法通常消耗更多的参数和时间。此外，现有的基于CNN的配准方法主要关注局部特征提取，限制了它们捕捉图像对之间长距离相关性的能力。本文提出了一种快速且准确的基于学习的算法，称为金字塔-迭代视觉Transformer（PIViT），用于3D大变形医学图像配准。该方法构建了一种新颖的金字塔迭代复合结构，通过使用基于Swin Transformer的长距离相关解码器在低尺度上进行迭代配准来解决大变形问题。
PVT(Pyramid Vision Transformer)算法整理
gentlelu的博客
06-11 4302
整体架构
Pyramid Vision Transformer（PVT）: 纯Transformer设计，用于密集预测的通用backbone
热门推荐
AI数据工厂
03-15 2万+
本文主要提出了一个纯Transformer的模型——PVT，可以作为下游密集预测的backbone使用。还设计了一个渐进缩减金字塔和一个空间缩减注意力层，在有限的资源下获取多尺度的、更高分辨率的输出。
论文笔记 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
985小菜鸡
05-24 1437
通过以上设计，PVT不仅能够替代CNN骨干，还能在各种视觉任务中提供更好的性能，特别是在需要高分辨率和多尺度特征的任务中。通过以上贡献，PVT不仅解决了传统Transformer在密集预测任务中的困难，还在多个任务中展现出优越的性能，证明了其作为新型视觉骨干网络的潜力。PVT的设计使得其在资源消耗、灵活性和性能方面均具有显著优势。PVT模型被分为四个阶段，每个阶段由一个补丁嵌入层和若干个Transformer编码器层组成。
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1821
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
《Pyramid Vision Transformer》论文笔记
Zssss12的博客
09-19 1387
尽管卷积神经网络 (CNN) 在计算机视觉中取得了巨大成功，但这项工作研究了一种更简单、无卷积的骨干网络，可用于许多密集预测任务。与最近提出的专门为图像分类设计的Vision Transformer (ViT) 不同，我们引入了金字塔视觉转换器 (PVT)，它克服了将 Transformer 移植到各种密集预测任务的困难。与现有技术相比，PVT有几个优点。(1) 与通常产生低分辨率输出并产生高计算和内存成本的 ViT 不同，PVT 不仅可以在图像的密集分区上进行训练以实现高输出分辨率，
Transformer系列：Pyramid Vision Transformer （ICCV2021）
weixin_34992700的博客
06-23 2189
PVT overcomes the difficulties of porting Transformer to various dense prediction tasks.
Vision Transformer之Pyramid Vision Transformer
画心
02-27 4110
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
探秘PVT：一种新颖的视觉Transformer模型
gitblog_00004的博客
03-25 1276
探秘PVT：一种新颖的视觉Transformer模型 PVTOfficial implementation of PVT series项目地址:https://gitcode.com/gh_mirrors/pv/PVT 在深度学习的世界中，Transformer模型自从2017年被提出以来，已经在自然语言处理领域取得了显著成就。然而，将Transformer架构应用于计算机视觉任务仍然是一个热门...
PVT(Pyramid Vision Transformer)学习记录
pengxiang1998的博客
05-16 4842
x为torch.Size([2, 3136, 64])，首先经过permute进行维度变换为torch.Size([2, 64,3136]),随后经过reshape为：torch.Size([2, 64, 56, 56])值得注意的是，只有stage1上patch=4，在后面的三个stage上patch都为2，这样也就参考卷积，其是一个二倍大小的关系。首先我们的输入图片为torch.Size([2, 3, 224, 224])，即batch-size=2，channel=3，W=H=224。
【YOLO改进】换遍MMDET主干网络之Pyramid Vision Transformerv2（PVTv2）（基于MMYOLO）
Vlone_pp的博客
05-11 1260
Pyramid Vision Transformer v2（PVTv2）是在PVTv1的基础上进行改进的一种深度学习模型，它同样结合了Transformer架构和金字塔结构，旨在提供更强大的特征表示和更好的性能。通过这些改进，PVTv2在多个基本视觉任务（如分类、检测和分割）上实现了显著的性能提升，并且在参数量和计算量方面也具有更好的优化。
无卷积骨干网络：金字塔Transformer，提升目标检测/分割等任务精度（附源代码）
qkh1234567的博客
09-07 1057
背景具有自注意力的Transformer引发了自然语言处理领域的革命，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。如下是之前我们分享的基于Transformer的目标检测新技术！
PVT：可用于密集任务backbone的金字塔视觉transformer！
lujohn3li
05-11 733
点蓝色字关注“机器学习算法工程师”设为星标，干货直达！基于detectron2实现的PVT开源了，欢迎star：https://github.com/xiaohu2015/pvt_detectron2自从ViT之后，关于vision transformer的研究呈井喷式爆发，从思路上分主要沿着两大个方向，一是提升ViT在图像分类的效果；二就是将ViT应用在其它图像任务中，比如分割和检测任务上，这里介绍的PVT（Pyramid Vision Transformer） 就属于后者。PVT相比ViT引入了和CNN
CVPR2021|PVT--无卷积密集预测的多功能backbone
CV技术指南（微信公众号）
07-05 505
前言： 卷积神经网络(CNN)在计算机视觉领域取得了显著的成功，几乎成为所有计算机视觉任务中的一种通用和主导方法。 受transformer在自然语言处理(NLP)的成功，许多研究人员正试图探索transformer的应用，一些工作模型视觉任务作为字典查找问题可学习查询，并使用transformer decoder作为一个特定任务的头的CNN主干，如VGG和ResNet。而一些现有技术已经将注意力模块纳入到CNNs中。 论文：https://arxiv.org/pdf/2102.12122.pdf
论文笔记：Large Deformation Diffeomorphic Image Registration with Laplacian Pyramid Networks
Fas666666的博客
05-21 1649
本文是论文《Large Deformation Diffeomorphic Image Registration with Laplacian Pyramid Networks》的阅读笔记，初入配准，多有不懂之处，请多多包涵。 摘要 在本文中，提出了一种深拉普拉斯金字塔图像配准网络，它可以在不变形映射空间内以从粗到精的方式解决图像配准优化问题。对两个MR脑扫描数据集的大量定量和定性评估表明，我们的方法在保持理想的变形特性和良好的配准速度的同时，显著优于现有方法。 Contributions 提出了一种新的
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 3555
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
PVT1-Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
m0_61387177的博客
11-03 1151
作者单位：1南京大学，2香港大学，3南京理工大学，4 IIAI ，5商汤科技虽然卷积神经网络（CNN）在计算机视觉领域取得了巨大的成功，但这项工作研究了一种更简单，无卷积的骨干网络，可用于许多密集的预测任务。不同于最近提出的视觉Transformer（ViT），这是专门为图像分类设计的，我们引入了金字塔视觉Transformer（PVT），它克服了移植Transformer到各种密集预测任务的困难。与现有技术相比，PVT具有几个优点。
Transformer主干网络——PVT_V1保姆级解析
qq_37668436的博客
01-13 8136
前言 论文地址：PVT1 代码地址：github 作者很厉害…各种cv的顶会收割机… 动机 出发点：改进Vit的不足。 不足一：Vit输出的特征图是single-scale的，也就是不像resnet那样有4个block可以输出四个尺度的特征图。多尺度的特征图对下游任务来说是很有用的，主要是因为之前主流的backbone是resnet，因此很多结构都是根据resnet来设计的（比如FPN，结合不同尺度的特征融合得到一个包含深浅层语义的特征），这样的话可以很好的将transformer的主干网络替换之前的re
Pyramid Vision Transformer
最新发布
12-28
### Pyramid Vision Transformer (PVT) 介绍 Pyramid Vision Transformer (PVT) 是一种用于计算机视觉任务的新型骨干网络架构，旨在替代传统的卷积神经网络(CNN)[^1]。该模型通过多尺度特征提取来增强对不同大小目标物体的理解能力。 #### 整体结构概述 整体上,PVT采用了金字塔式的分层设计,每一层都由若干个Transformer编码器构成[^2]。这种层次化的构建方法允许模型在同一时间处理来自多个分辨率下的输入数据,从而提高了对于复杂场景下细节信息捕捉的能力。 ```python class PyramidVisionTransformer(nn.Module): def __init__(self, img_size=224, patch_size=16, in_chans=3, num_classes=1000, embed_dims=[64, 128, 256, 512], depths=[3, 4, 6, 3], num_heads=[1, 2, 4, 8], mlp_ratios=[4, 4, 4, 4], qkv_bias=True, norm_layer=nn.LayerNorm, drop_rate=0., attn_drop_rate=0., drop_path_rate=0.1, pretrained=None): super().__init__() self.num_stages = len(depths) dpr = [x.item() for x in torch.linspace(0, drop_path_rate, sum(depths))] cur = 0 for i in range(self.num_stages): patch_embed = PatchEmbed( img_size=img_size if isinstance(img_size, int) else img_size[i], patch_size=patch_size if isinstance(patch_size, int) else patch_size[i], in_chans=in_chans if isinstance(in_chans, int) else in_chans[i], embed_dim=embed_dims[i]) block = nn.ModuleList([Block( dim=embed_dims[i], num_heads=num_heads[i], mlp_ratio=mlp_ratios[i], qkv_bias=qkv_bias, drop=drop_rate, attn_drop=attn_drop_rate, drop_path=dpr[cur + j]) for j in range(depths[i])]) setattr(self, f"patch_embed{i + 1}", patch_embed) setattr(self, f"block{i + 1}", block) cur += depths[i] self.norm = norm_layer(embed_dims[-1]) ``` 此代码片段展示了`PyramidVisionTransformer`类初始化函数的一部分逻辑，定义了各个阶段中的嵌入维度、深度以及其他超参数设置[^3]。 #### 应用领域 除了作为图像分类的基础框架外，PVT还被广泛应用于其他多种密集预测任务中，比如语义分割、对象检测等。这些应用场景得益于其强大的表征学习能力和灵活性，在不依赖于传统CNN操作的情况下实现了优异的表现效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值