vit源码中to_patch_embedding理解

最新推荐文章于 2024-11-24 01:30:49 发布
原创 最新推荐文章于 2024-11-24 01:30:49 发布 · 2.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch

该博客介绍了如何利用einops库的Rearrange方法，将输入图像按特定尺寸分块，并转换为适合全连接层输入的格式。与传统使用卷积核提取patch的方式相比，这种方法提供了更灵活的图像处理方式。此外，文中也提到了卷积层作为替代方案，通过16x16的窗口和stride为16的卷积核来获取图像的patches。 
 self.to_patch_embedding = nn.Sequential(
            Rearrange('b c (h p1) (w p2) -> b (h w) (p1 p2 c)', 
            p1 = patch_height, p2 = patch_width),
            nn.Linear(patch_dim, dim),
        )
Rearrange是ein
最低0.47元/天 解锁文章
Patch Embedding
qq_52226384的博客
03-25 3076
咋眼看说去像是用大卷积核操作, 实际上只是借用它的方式, 最后在图像长宽维展平为一位再和第768个patch维对调实现了图像embedding , 秒啊~~3的图像达成196个patch,每个patch的size为768 ,即768维一维张量.对应196sentence, 每个sentence的编码映射为768维的特征向量。
ViT实战一：Patch_embedding
L2306665的博客
10-04 865
本文是针对ViT这篇博文中patch_embedding的笔记。
CV中token、Patch Embedding、positional encoding的概念（多模态、ViT、Transformer）
qq_34348690的博客
04-26 4062
在不同的语境下，术语token等有不同的解释。笔者这里的概念解释基于Google的ViT原文。 NLP中，token指的是一个单词word。而CV中，token的概念包含：token、class token、patch token等。
Swin Transformer中的PatchEmbed原理及代码说明
liuweizj12的博客
05-30 4625
1.分块patch partition usea patch size of 4 × 4 and thus the feature dimension of eachn patch is 4 × 4 × 3 = 48 在这里设置了4 × 4× 3的块的大小，原始图像被 分成维度为4 × 4 × 3 = 48的小块。 2.线性编码linear embedding A linear embedding layer is applied on this raw-valued feature to ..
einops 张量处理
lansebingxuan的专栏
01-14 977
安装 einops支持 python 3.5 及更高版本，安装命令 pip install einops 代码链接：arogozhnikov/einops: Deep learning operations reinvented (for pytorch, tensorflow, jax and others) (github.com) 用法 可以用来调整tensor的维度 from einops import rearrange img = torch.randn(1,3,256,256)
地表最用心！Vision Transformer（ViT）数据流解析（代码同步）
奋土的博客
03-22 1847
假设输入512x512x3的图片，通过分析每个部分的运行机制和图片形状尺寸的变化，结合对应代码，深度解析ViT的运行机制
代码from vit_pytorch.simple_vit_with_patch_dropout import SimpleViT这一步无法解析vit_pytorch.simple_vit_with_patch_dropout怎么办
10-17
根据引用[1]，`vit-pytorch` 的源码在 `vit_pytorch/vit.py` 中，我们可以去查看该文件是否包含 `simple_vit_with_patch_dropout`。 实际上，在 `vit-pytorch` 的GitHub仓库中，有一个 `simple_vit.py` 文件（而...
import torch import torch.nn as nn import torch.nn.functional as F import open_clip from vit_pytorch.simple_vit_with_patch_dropout import SimpleViT from vit_pytorch.extractor import Extractor from model_init import UrbanCLIP_init # There could be more options to initialize the parameters! The following checkpoint is one of them. # Our design is based on CLIP. So CLIP variants are also within our scope. Welcome any commit for UrbanCLIP! model, _, transform = open_clip.create_model_and_transforms( model_name="coca_ViT-L-14", # pretrained="mscoco_finetuned_laion2B-s13B-b90k" pretrained="/root/autodl-tmp/laion-mscoco_finetuned_CoCa-ViT-L-14-laion2B-s13B-b90k/open_clip_pytorch_model.bin" # pretrained="/root/autodl-tmp/laion-CoCa-ViT-L-14-laion2B-s13B-b90k/open_clip_pytorch_model.bin" ) # more general details of initialized model can be seen as follows: vit = SimpleViT( image_size = 256, patch_size = 32, num_classes = 1000, dim = 1024, depth = 6, heads = 16, mlp_dim = 2048, patch_dropout = 0.5 # https://arxiv.org/abs/2212.00794 ) vit = Extractor(vit, return_embeddings_only = True, detach = False) urbanclip_init = UrbanCLIP_init( dim = 512, # model dimension img_encoder = vit, # vision transformer - image encoder, returning image embeddings as (batch, seq, dim) image_dim = 1024, # image embedding dimension, if not the same as model dimensions num_tokens = 20000, # number of text tokens unimodal_depth = 6, # depth of the unimodal transformer multimodal_depth = 6, # depth of the multimodal transformer dim_head = 64, # dimension per attention head heads = 8, # number of attention heads caption_loss_weight = 1., # weight on the autoregressive caption loss contrastive_loss_weight = 1., # weight on the contrastive loss between image and text CLS embeddings ).cuda() text = torch.randint(0, 20000, (4, 512)).cuda() images = torch.randn(4, 3, 256, 256).cuda() loss = urbanclip_init( text = text, images = images, return_loss = True # set this to True to get the full caption + contrastive loss ) loss.backward() logits = urbanclip_init( text = text, images = images ) text_embeds, image_embeds = urbanclip_init( text = text, images = images, return_embeddings = True ) 现在显示无法解析导入“vit_pytorch.simple_vit_with_patch_dropout”和无法解析导入“vit_pytorch.extractor”，请问我应该怎么处理呢？
最新发布
10-17
我们正在解决Python代码中无法解析导入'vit_pytorch.simple_vit_with_patch_dropout'和'vit_pytorch.extractor'的问题。 这个问题通常是由于缺少相应的库或模块导致的。vit_pytorch是一个第三方库，提供了Vision ...
精选资源
vit.zip视觉transformer代码
03-12
《视觉Transformer：深入理解vit.zip源码》 在深度学习领域，Transformer模型因其在自然语言处理（NLP）任务中的卓越表现而广受关注。近年来，这种模型的影响力已跨越了NLP，逐渐渗透到计算机视觉（CV）领域，催生...
人工智能深度学习transformer应用之一VIT源码解读(包括环境搭建,VisionTransformer)
weixin_58351028的博客
11-24 1573
进入Block类的forward方法后，也就主要按Block网络结构执行（x = self.attention_norm(x) -------->x, weights = self.attn(x)------->x = self.ffn_norm(x)------> x = self.ffn(x),因为self.attn(x)这一步主要是做self-attention,dropout,softmax,权重计算后会得到weights。数据量越大，模型训练也许越好，就如大模型。
chatgpt赋能python：Python：重排字符串的利器——rearrange
reilust的博客
05-25 1834
rearrange函数是Python字符串库中的一个功能强大的工具。它可以用来重排字符串中的字符，以产生一个新的字符串，新的字符串可以是任何一种排列组合，无论它是否在原来的串中出现过。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。
Vit极简原理+pytorch代码
m0_74982304的博客
04-10 2638
Vit比它爹Transformer步骤要简单的多，需要注意的点也要少得多，最令人兴奋的是它在代码中没有令人头疼的MASK，还有许多简化的操作，容我慢慢道来。
Vision Transformer 简单复现和解释
zhang2362167998的博客
01-26 1360
Vision Transformer 简单复现
【ViT系列（2）】ViT（Vision Transformer）代码超详细解读（Pytorch）
热门推荐
路人贾的博客
07-21 1万+
ViT（Vision Transformer）代码超详细解读
「解析」Vision Transformer 在图像分类中的应用
绿色羽毛
08-30 1万+
An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale 代码： 1、ViT原理分析： 这个工作本着尽可能少修改的原则，将原版的Transformer开箱即用地迁移到分类任务上面。并且作者认为没有必要总是依赖于CNN，只用Transformer也能够在分类任务中表现很好，尤其是在使用大规模训练集的时候。同时，在大规模数据集上预训练好的模型，在迁移到中等数据集或小数据集的分类任务上以后，也能取得比CNN更优的性能。下面
数据重排——Rearrange
04-30 1186
这种重排操作在深度学习中很有用，特别是在涉及对输入数据进行维度变换或特征映射时，例如在卷积神经网络的不同层之间传递数据，或者在实现如 Transformer 模型中的自注意力机制时调整数据的形状。数据重排（rearrange）通常用于深度学习框架中调整多维数据的维度顺序。示例：Rearrange('b c (h p1) (w p2) -> b (c p1 p2) h w', p1=2, p2=2)这意味着原始的通道数据被扩展或重复以填充新的通道维度。表示原始的高度和宽度被重复或扩展了。
ViT（Visual Transformer）最通俗易懂的讲解（有代码）
2301_77653781的博客
09-19 1万+
深入浅出，通俗易懂理解ViT(Vision Transformer)网络模型和代码。本文详细介绍了Google在ICLR上发布的VIT模型，它是首个在计算机视觉领域超越CNN和RNN的Transformer模型。文章重点阐述了VIT的结构，包括图像特征嵌入、Transformer编码器（含多头注意力机制）、MLP分类模块，以及模型的亮点和整体架构。
保姆级VIT详解输入维度变化以及对应代码实现
weixin_49894927的博客
12-20 3865
对于输入（1，3，64，64）和使用 patch size 为 8 的设置，维度变化的步骤可以总结为以下过程：图像块的提取：展平成向量：加入 Class Token 和 位置嵌入：线性投影：多头自注意力机制（Multi-Head Self-Attention）：拆分为多头：注意力计算：合并多头输出：图：
Vision Transformer 代码实现
周红伟讲AI
03-09 1499
最近开始恶补CV了（指->新建文件夹）。作为CV Transformer的开山大作，首先要学习的就是ViT（Vision Transformer）模型。有很多大佬都已经解读过这篇工作了，我比较推荐的视频，不仅能了解模型架构，还能学到些论文写作技巧。也参考了（代码是基于timm的） 本文代码基于，该项目包含了ViT和诸多变体。需要预训练模型的话可以参考ViT的架构ViT的结构如上图，我们按照流程一步步讲解。大概来说，ViT分为这几个步骤。1。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

liiiiiiiiiiiiike

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值