Vision Transformer

最新推荐文章于 2024-07-22 16:34:27 发布
最新推荐文章于 2024-07-22 16:34:27 发布
阅读量1.6k 收藏 9
点赞数 5
分类专栏： Transformer
原文链接：https://blog.youkuaiyun.com/qq_37541097/article/details/118242600
版权

论文： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale
论文下载：https://arxiv.org/abs/2010.11929
原论文源码：https://github.com/google-research/vision_transformer

文章目录

摘要

在这篇文章中，作者主要拿ResNet、ViT（纯Transformer模型）以及Hybrid（卷积和Transformer混合模型）三个模型进行比较。

Vision Transformer

在这里插入图片描述

  • Linear Projection of Flattened Patches(Embedding层)
  • Transformer Encoder(图右侧有给出更加详细的结构)
  • MLP Head（最终用于分类的层结构）

Embedding层

在这里插入图片描述

Transformer Encoder层

在这里插入图片描述在这里插入图片描述

MLP Head层

在这里插入图片描述

Vision Transformer网络结构

以ViT-B/16为例
在这里插入图片描述

Hybrid模型

在这里插入图片描述下表是论文用来对比ViT，Resnet（和刚刚讲的一样，使用的卷积层和Norm层都进行了修改）以及Hybrid模型的效果。通过对比发现，在训练epoch较少时Hybrid优于ViT，但当epoch增大后ViT优于Hybrid。
在这里插入图片描述

ViT模型搭建参数

在论文的Table1中有给出三个模型（Base/ Large/ Huge）的参数，在源码中除了有Patch Size为16x16的外还有32x32的。其中的Layers就是Transformer Encoder中重复堆叠Encoder Block的次数，Hidden Size就是对应通过Embedding层后每个token的dim（向量的长度），MLP size是Transformer Encoder中MLP Block第一个全连接的节点个数（是Hidden Size的四倍），Heads代表Transformer中Multi-Head Attention的heads数。
在这里插入图片描述

参考大佬：https://blog.youkuaiyun.com/qq_37541097/article/details/118242600

pytorch实现vision_transformer_hybrid
AI浩
02-21 1383
github地址：https://github.com/rwightman/pytorch-image-models/ 记录一下模型，方便查阅 """ Hybrid Vision Transformer (ViT) in PyTorch A PyTorch implement of the Hybrid Vision Transformers as described in: 'An Image Is Worth 16 x 16 Words: Transformers for Image Recogni
【论文研读】Vision Transformer网络
YS1455的博客
12-20 777
在cv领域，卷积体系结构占主导地位，后来受NLP成功的启发，开始将类似于CNN的结构与自注意力相结合。按像素展开，每个像素就是一个Patch (一个 Patch 类比 NLP 中的一个词)，这样的话，如果以 224*224 的输入尺寸来说，Patch数 = 224 x 224 = 50176。
ViT(Vision Transformer)网络结构详解
weixin_44115575的博客
07-22 7125
本文在transformer的基础上对ViT进行讲解，transformer相关部分可以看我另一篇博客（
【ViT详解】Vision Transformer网络结构及代码解读
日拱一卒，功不唐捐
08-30 4670
Vit网络结构及源码详解
深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解
热门推荐
木卯_THU的博客
09-09 4万+
深度学习之图像分类（十八）Vision Transformer(ViT)网络详解 目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head 层2.4 ViT B/162.5 ViT 模型参数3. Hybrid 混合模型4. 代码 上节有讲 Transformer 中的 Self-Attention 结构。本节学习 Vision Transform
Vision Transformer模型架构详解
张小殊的博客
12-12 8814
2019年开始，自然语言处理（NLP）领域抛弃了循环神经网络（RNN）序列依赖的问题，开始采用Attention is All you need的Transformer结构[1]，其中的Attention是一种可以让模型专注于重要的信息并能够充分学习和吸收的技术。在NLP领域中，伴随着各种语言Transformer模型的提出使得多项语言处理任务的精度和模型深度开始飞速提升。由于基于Transformer的预训练语言模型非常成功，研究者开始探索其在视觉领域的应用。
Vision Transformer 源码解读
02-03
在文本任务中大量使用了Transformer 架构，因为文本数据是一个序列非常好的契合Transformer 架构。 可是如何将一张图像展开成一个序列呢？ 将一个文本数据使用Transformer 进行特征提取需要把文本embbeding成一个...
vision transformer预训练
12-06
在计算机视觉领域，Transformer模型已经成为一种重要的工具，尤其是Vision Transformer (ViT)的出现，它打破了传统的卷积神经网络(CNN)在图像识别任务中的主导地位。预训练技术在自然语言处理领域取得了显著成功，如...
猫狗数据集的二分类图像识别项目：基于VIT(vision transformer)
02-08
1、本项目基于VIT(vision transformer)迁移学习的图像分类。 2、模型已训练好，可以直接运行，服务器上使用8个GPU，训练200个epoch，accuracy达到0.995。 3、资源中包含了猫狗二分类数据集。 4、如果想要训练自己...
VisionTransformer-Pytorch
05-14
视觉变压器火炬 此项目是从 / 和 / ，为您提供了现成的API，可让您像EfficientNet一样容易地使用VisionTransformer。 快速开始 使用pip install vision_transformer_pytorch安装，并使用以下命令加载经过预训练的VisionTransformer： from vision_transformer_pytorch import VisionTransformer model = VisionTransformer.from_pretrained('ViT-B_16') 关于视觉变压器PyTorch Vision Transformer Pytorch是Vision Transformer的PyTorch重新实现，它基于常用的深度学习库的最佳实践之一 ，以及的优雅实现工具 。 在这个项目中，我们旨在使我们的PyTorch实施尽
基于Vision Transformer的图像去雾算法研究与实现python源码+使用说明.zip
05-09
基于Vision Transformer的图像去雾算法研究与实现python源码+项目介绍使用说明.zip 如果要继续对模型进行训练：--pretrain_weights 设置预训练权重路径，我的模型预训练权重在My_best_model文件夹下，以数据集划分...
【论文阅读】Vision Transformer 模型详解
aixiaomi123的博客
11-24 7225
关于Vision Transformer模型的详解 ，末尾附原论文下载链接以及pytorch代码。
Vision transforme基本结构介绍
weixin_43969854的博客
03-14 5196
论文原文：https://arxiv.org/pdf/2010.11929.pdf 中文版知乎解读：[论文笔记] ViT - 知乎 网络基本思想： 通过transformer完成nlp和cv类网络结构的统一。 NLP网络输入序列，通过Encoder和Decoder完成对于序列信息的编码和解码。CV网络中基础为图片（假设图片大小为224×224×3），通过卷积和MLP完成图片信息的抽取和分类（假设为分类网络）。 将Transformer应用与图片上，主要就是替换掉原有的卷积层（更确切地说是通过a...
Vision Transformer(vit)原理分析以及特征可视化
z240626191s的博客
08-29 2万+
Vision Transformer（ViT）是一种基于架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的，并。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了。这样可以。最后，通过对Transformer编码器输出进行分类或回归，可以完成特定的视觉任务。为什么不能直接将transformer直接应用于图像处理中呢？
Vision Transformer (ViT)
a264672的博客
11-27 1901
文章目录Vision Transformer (ViT)1. 回顾Transformer (TRM)2. ViT2.1. 输入处理2.2. patch embedding（结构图的2）2.3. CLS 和位置编码（结构图的3）2.4. Encoder（结构图的4）2.5. 总结 edited by nrzheng，2021.11.27 参考视频1 参考视频2 参考链接 Vision Transformer (ViT) 1. 回顾Transformer (TRM) transformer网络结构如下图所示：
学习笔记 | Vision Transformer（ViT）
LiRongLu_的博客
08-23 451
Vision Transformer（ViT）；Transformer具有两大核心能力：自监督（Self-supervision）和自注意力（Self-Attention ），自监督使得Transformer可以在超大规模的无标签数据集上训练，然后在有标签的小数据集上进行训练，这样训练得到的模型有较强的泛化能力。
Vision Transformer的Pytorch源码各模块实现
认真努力，做一只会飞的毛毛虫。
02-10 1300
其实看ViT网络代码主要是学会最基础的transformer模型搭建，是CV从业者必须要走一段路。在明白transformer原理之后(具体参考我之前的两篇博文：CV领域Transformer之Self-Attention原生理解和Transformer-Encoder & Decoder细节详解（以DETR为例)，搭建ViT可以说是信手拈来。整个ViT网络无非就是卷积层和Multi-Head Self-attention的搭积木，如下所示： ViT网络的输入图像尺寸必须为固定尺寸，否则需要自
VIsion Transformer
最新发布
02-22
### Vision Transformer 架构详解 Vision Transformer (ViT) 是一种基于纯变换器架构的视觉模型，最初由 Google 团队于 2020 年提出。该模型旨在处理图像数据并执行分类任务，通过将图像分割成多个小块来模仿自然语言处理中的词元化操作[^2]。 #### 图像分片与线性嵌入 输入图像被均匀划分为固定大小的小图块（patches），这些图块随后会被展平为一维向量，并经过线性映射转换为具有相同维度的特征向量。为了保留位置信息，在此阶段还会加入可训练的位置编码[^1]。 ```python class PatchEmbedding(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768): super().__init__() self.proj = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): x = self.proj(x).flatten(2).transpose(1, 2) return x ``` #### 变换器编码层堆叠 得到的一系列带有位置信息的特征向量作为输入传递给一系列相同的变换器编码单元组成的网络。每个编码单元内部包含了多头自注意机制以及前馈神经网络两大部分，二者之间采用残差连接和标准化技术以促进梯度传播[^3]。 ```python class Block(nn.Module): """Transformer block.""" def __init__(self, dim, num_heads, mlp_ratio=4., qkv_bias=False, drop_path_rate=0.): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = Attention( dim, num_heads=num_heads, qkv_bias=qkv_bias, ) # ...其余代码省略... ``` #### 类标记与全局平均池化 在序列最前端添加一个特殊的类别令牌（[CLS] token），用于收集整个图片的信息摘要。最终输出时仅需对该令牌对应的隐藏状态做进一步处理即可获得预测结果。此外，还可以选择使用全局平均池化代替类标记来进行表征聚合。 ```python class VisionTransformer(nn.Module): def __init__(self, ..., classifier='token'): ... if classifier == 'token': self.cls_token = nn.Parameter(torch.zeros(1, 1, config.hidden_size)) elif classifier == 'gap': self.has_cls_token = False def forward_features(self, x): B = x.shape[0] x = self.patch_embed(x) cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat((cls_tokens, x), dim=1) x = self.pos_drop(x + self.pos_embed) x = self.blocks(x) x = self.norm(x) if self.classifier == "token": x = x[:, 0] else: x = x.mean(dim=1) return x ``` ### 应用场景 除了经典的图像分类外，ViT 还可以应用于其他多种计算机视觉任务中，比如目标检测、语义分割等。由于其强大的表达能力和灵活性，使得 ViT 成为了当前热门的研究方向之一[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值