torch.nn.embedding()大致使用方法

最新推荐文章于 2025-04-03 18:30:16 发布
最新推荐文章于 2025-04-03 18:30:16 发布
阅读量2.8k 收藏 2
点赞数 3
分类专栏： python代码有关 其他 文章标签： 神经网络 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37959202/article/details/105934309
版权

碰到了这个东西，有点不太清楚，在这里记下笔记
将nn.embedding理解为学习一个词向量的表示，每一个词都会对应一个指定维度的单独的向量表示（embed_dim在GRU等模型的输入中，可以认为是input_size）。假设当前词汇表中一共有V个不同的词，则可以定义如下形式：
假设当前词汇表中有4个不同的单词，则V=4

import torch
import torch.nn as nn
embed=nn.Embedding(4,embed_dim)
x=torch.LongTensor([[0,1,2],[3,2,1]])#B,seq_length
x_embed=embed(x)
print(x_embed.size())#B,seq_length,embed_size

可以将embed理解为一共矩阵，每个词类似于0，1，2等相当于通过矩阵的行去索引出该行向量的内容，行向量的维度为embed_dim。使用embedding去发现词隐藏的特征形式，使用神经网络的方法去自行学习。

参考连接：

PyTorch快速入门教程七(pytorch下RNN如何做自然语言处理)

PyTorch快速入门教程七（RNN做自然语言处理） - pytorch中文网

Pytorch详解-模型模块(RNN,CNN,FNN,LSTM,GRU,TCN,Transformer)
算法工程师
09-17 1973
Pytorch详解-模型模块(RNN,CNN,FNN,LSTM,GRU,TCN,Transformer)
手撕代码insightFace中的arcface_torch
m0_62789066的博客
10-15 2074
背景介绍 　　搞人脸识别的同学基本都听过insightFace 的大名，在开源工程里面可以帮助大伙快速的建立自己的baseline , 代码玩儿的溜的同学说不一定一两天就玩儿通了．原始的insightface是mxnet实现的，但是现在工业界和学术的有非常多的人使用pytorch作为自己的开发平台，这就带来了一定的局部不适．终于最近insightFace基于pytorch实现了相关的算法，并公布了性能还不错的开源预训练模型，pytorch建议到1.6.0版本以上．感谢相关的开源作者做出的贡献． 　　那么
torch.nn.Embedding的函数
qq_27009517的博客
03-19 2067
保存了固定字典和大小的简单查找表。模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表，输出是对应的词嵌入。 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False) 一...
【python函数】torch.nn.Embedding函数用法图解
风巽·剑染春水的博客
09-20 9285
相比于One-hot编码，Embedding方式更方便计算，nn.embedding就相当于一个词典嵌入表。
PyTorch嵌入层(nn.Embedding)
最新发布
weixin_67251822的博客
04-03 895
这个核心属性外，还有其他属性和方法。掌握这些属性和方法后，你可以更灵活地操作嵌入层！在 PyTorch 中，
torch.nn.embedding()
qq_35222729的博客
08-19 4433
作者：top_小酱油 链接：https://www.jianshu.com/p/63e7acc5e890 来源：简书 内容：上述是以RNN为基础解析的 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None) 意义 其为一个简单的存储固定大小的词典的嵌入向量的查找表
torch.nn.Embedding()理解
studyvcmfc的专栏
11-01 359
https://blog.csdn.net/tommorrow12/article/details/80896331
torch.nn.Embedding
weixin_56915683的博客
09-03 301
详见 官方文档 class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None, device=None, dtype=None) torch.nn.Embedding 作用 是一个简单的查找表，用于 存储固定字典 和 大小 的嵌入 该模块通常用于存储词.
解析Torch中 `Embedding`
sinat_39783664的博客
07-04 1422
pytorch embedding
Datawhale AI 夏令营 全球Deepfake攻防挑战赛 task3-数据增强&多模态初步
Z_Zhangyijian的博客
07-20 821
后续可以尝试使用CLIP的思路对两种模态的数据（音频和图像）进行对齐，实现多模态模型以充分利用视频数据的信息，由于作者对于多模态、CV、音频领域都知之甚少，在短短一周的学习过程中还未能实现构建多模态学习框架，这里仅列出大致的思路，欢迎各位同学指正，共同进步。记在后面，本人其实是AI4S方向的学生，science不完全懂，AI完全不懂，前路漫漫，希望能够结识同样对AI4S感兴趣的小伙伴，有机会一起参加些比赛精进技术，提高认知，就到这里，各位祝好~但是距第八名还是好大差距。这完全不是通过数据增强能够提升的。
PyTorch中的Embedding
Mark_Australia的博客
03-30 738
Embedding
模型的第一层：详解torch.nn.Embedding和torch.nn.Linear
weixin_42038527的博客
01-30 1378
torch.nn.Embedding是用来将一个数字变成一个指定维度的向量的，比如数字1变成一个128维的向量，数字2变成另外一个128维的向量。不过，这128维的向量并不是永恒不变的，这些128维的向量是模型真正的输入（也就是模型的第1层）（数字1和2并不是，可以算作模型第0层），然后这128维的向量会参与模型训练并且得到更新，从而数字1会有一个更好的128维向量的表示。显然，这非常像全连接层，所以很多人说，Embedding层是全连接层的特例。
torch.nn.embedding的介绍和用法
xw555666的博客
02-24 2832
nn.Embedding是 PyTorch 中的一个神经网络层，它主要用于将离散的、高维的数据（如词索引）转换为连续的、低维的空间中的稠密向量表示。在自然语言处理（NLP）中，这个层通常用于实现词嵌入（Word Embeddings），即将每个单词映射到一个固定长度的向量上，使得具有相似语义的单词在向量空间中距离相近。
【Pytorch基础教程28】浅谈torch.nn.embedding
发现问题，并解决问题，批判性思维
06-15 5263
经常用来存储单词embedding，使用对应indices进行检索对应的embedding。从上面的官方参数看：输入（最重要的还是前三个参数）：输出：[规整后的句子长度，样本个数（batch_size）,词向量维度]注： 独热编码向量：维度会太高、向量系数、硬编码。 通过embedding将向量编码为低维、稠密的向量（从data中学习）。 的shape，注意是会多添加一个维度： 一个1乘4维度矩阵传入10乘3的nn.embedding中，然后得到1乘4乘3矩阵： 对应的结果如下，可以看到分别检索出对应的第
Pytorch nn.Embedding的基本使用
iioSnail的博客
02-07 8599
什么情况下使用Embedding nn.Embedding的基本用法 nn.Embedding的其他常用参数 nn.Embedding的可学习性
详细介绍pytorch中的nn.Embedding()
热门推荐
拒绝任何因懒惰而生的省略号
09-13 1万+
num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999） embedding_dim (python:int) – 嵌入向量的维度，即用多少维来表示一个符号。 padding_idx (python:int, optional) – 填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用统一的数字填充，而这里就是指定这个数字，这样，网络在遇到填充id时，就不会计算其与其它符号的相关性。（初始.
nn.embedding函数详解(pytorch)
weixin_38252409的博客
11-06 7365
最近发现prompt工程(如sam模型)，也有transform的detr模型等都使用了nn.Embedding函数，对points、boxes或learn query进行编码或解码。因此，我想写一篇文章作为记录，本想简单对其 介绍，但写着写着就想把所有与它相关东西作为记录。本文章探讨了nn.Embedding参数、使用方法、模型训练与预测的变化，并附有列子源码作为支撑 ，呈现一个较为完善的理解内容。
patch embedding怎么变为图像
12-31
### 将 Patch Embedding 转换为图像 为了将 patch embedding 转换回原始图像，通常需要执行一系列逆操作。这些操作大致可以概括为以下几个方面： #### 1. 数据重塑 首先，假设输入的 patch embedding 形状为 `[batch_size, num_patches, embed_dim]`。由于 `embed_dim` 是由卷积层映射得到的一个高维特征空间，在反向转换过程中，必须先将其恢复成原来的通道数（通常是3）。这可以通过一个线性变换来完成。 ```python import torch.nn as nn class PatchEmbedToImage(nn.Module): def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768): super().__init__() self.patch_size = patch_size self.num_patches = (img_size // patch_size)**2 # 定义一个线性层用于降维 self.linear_layer = nn.Linear(embed_dim, in_chans * (patch_size ** 2)) def forward(self, x): b, n, d = x.shape # 获取批次大小、补丁数量以及嵌入维度 assert n == self.num_patches and d == 768, "Input dimensions do not match expected values" # 使用线性层降低维度至原通道数乘以单个patch像素总数 patches_flattened = self.linear_layer(x) # 改变形状回到[B,N,C*P*P], 其中 P 表示 patch 大小 patches_reshaped = patches_flattened.view(b, n, -1, self.patch_size*self.patch_size).permute(0, 2, 1, 3) return patches_reshaped.reshape((b, -1, int(patches_reshaped.size(-1)**0.5), int(patches_reshaped.size(-1)**0.5))) ``` 这段代码定义了一个简单的 PyTorch 模型类 `PatchEmbedToImage`，它接受已经编码好的 patch embeddings，并尝试重构出接近原始尺寸的图像数据[^1]。 #### 2. 图像重组 上述过程结束后，还需要进一步处理才能获得完整的二维图像表示形式。具体来说就是把所有的小方块重新拼接在一起形成一张大图。这里的关键在于理解如何排列各个patches的位置关系，使其能够无缝对接构成整张图片。 对于给定的 `(H,W)` 像素级别的图像被划分为多个相同大小的小区域（即 patches），每个这样的子集都对应着特定的空间位置信息。因此，在重建阶段，应该按照原来划分时所遵循的方式依次放置每一个经过解码后的 patch 片段，最终合成一幅连贯一致的新图像。 需要注意的是，实际应用中的模型可能会更加复杂一些，可能涉及到更精细的设计细节比如正则化项的选择或是额外加入跳跃连接机制等等，但基本原理保持不变[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值