对nn.Embedding的理解以及nn.Embedding不能嵌入单个数值问题

本文详细介绍了PyTorch中的nn.Embedding层的工作原理和使用方法。nn.Embedding是一个用于词汇嵌入的模块,它创建了一个查询表,其中包含指定数量的向量,每个向量具有预设的维度。在训练过程中,该表会根据输入数据进行更新。通过nn.Embedding,可以将索引映射到相应的向量表示。当输入是单个数值时,需要将其包装在列表中以避免错误。此外,嵌入层要求输入必须是LongTensor类型。
部署运行你感兴趣的模型镜像

 首先,nn.Embedding(

num_embeddings, embedding_dim

)会生成一个嵌入表,在一些论文中常见的叫法是look up table,就是一个随机的查询表,我们可以理解为一个词典(本质上也类似于词典),键为index,如0-n,值为指定维度的向量,表示初始化的一个随机的embedding,在训练时会更新这个查询表。

nn.Emdedding一般需要两个参数,第一个是num_embeddings,指的是这个查询表中有多少个的向量,或者理解为这个查询词典中有多少个键值对,第二个参数embedding_dim是指每个向量的维度。例如nn.Embedding(

num_embeddings=10, embedding_dim=10

)会生成一个含有10个向量,每个向量为10维的一个查询表,这10个向量的索引为0-9。

在使用中,我们一般会在模型中定义这个一个嵌入层,如test_embd:

test_embd = nn.Embedding(

num_embeddings=10, embedding_dim=10

)

然后再使用,如

test = [0,1,2,2,5]

test_embedding = self.test_embd(torch.LongTensor(test))

可以看到在上面的结果中test列表中两个2得到的向量是相同的

注意,test列表中的数值要在0-9(因为num_embeddings=10)的范围,否则会报错index out of range in self,就和字典或者列表超出索引范围是一样的。

 此外,嵌入的必须是tensor,所以首先要用torch.LongTensor()将test列表转换为tensor。

第二个问题,如果我想嵌入一个数值怎么办,例如test2 = 5,直接使用test_embd(torch.LongTensor(test2))  也是不行的

 我们会发现test_embd(torch.LongTensor(test2)) 这种方法是将查询表中第一个向量(上文中提到的test列表中的0在查询表中的向量)输出了5遍,只有使用test_embd(torch.LongTensor([test2])) 

,即将单个数值先转换为列表,才能输出正确结果。

在实际的模型中,直接使用test_embd(torch.LongTensor(test2))这种方式嵌入单个数值也有可能会直接出现报错 IndexError: index out of range in self

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

### PyTorch 中 `nn.Embedding` 的定义与使用 在 PyTorch 中,`nn.Embedding` 是用于创建嵌入层的一个模块。该模块的主要功能是从离散的索引映射到连续空间中的向量表示。 #### 定义 `nn.Embedding` 为了初始化一个嵌入层,需要指定两个主要参数: - **num_embeddings**: 字典的大小,即可以被嵌入的不同类别的数量。 - **embedding_dim**: 嵌入向量的维度,决定了每个类别会被转换成多大尺寸的稠密向量[^4]。 ```python import torch from torch import nn # 创建一个具有20个不同词汇项和每项5维特征向量的Embedding实例 embedding_layer = nn.Embedding(num_embeddings=20, embedding_dim=5) ``` #### 使用 `nn.Embedding` 一旦定义好了嵌入层,可以通过传递张量作为输入给此对象来进行前向传播操作。输入应该是一个由整数组成的一维或多维张量,这些整数代表了想要查询其相应嵌入向量的位置索引。 对于上述定义好的 `embedding_layer` 来说,如果希望得到编号为 7 对应的嵌入,则只需简单地传入相应的索引即可获得对应的嵌入向量[^2]。 ```python index_tensor = torch.tensor([7]) # 要查找第8个位置(因为计数从零开始) embedded_vector = embedding_layer(index_tensor) print(embedded_vector) # 输出形状为 (1, 5),其中包含单个嵌入的结果 ``` 当处理批量数据时,也可以一次性提供多个索引来获取它们各自的嵌入矩阵[^3]。 ```python batch_indices = torch.tensor([[1], [2], [3]]) # 形状为 (3, 1) 的批次化索引列表 batch_embedded_vectors = embedding_layer(batch_indices) print(batch_embedded_vectors.shape) # 应该会显示 (3, 1, 5), 表明有三个样本各自拥有五个元素组成的嵌入向量 ``` 值得注意的是,在实际应用中通常不会手动设置具体的权重值;相反,默认情况下这些权重会在构建模型之初随机初始化,并随着训练过程不断调整优化以更好地捕捉语料库内的模式[^1]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值