首先,nn.Embedding(
num_embeddings, embedding_dim
)会生成一个嵌入表,在一些论文中常见的叫法是look up table,就是一个随机的查询表,我们可以理解为一个词典(本质上也类似于词典),键为index,如0-n,值为指定维度的向量,表示初始化的一个随机的embedding,在训练时会更新这个查询表。
nn.Emdedding一般需要两个参数,第一个是num_embeddings,指的是这个查询表中有多少个的向量,或者理解为这个查询词典中有多少个键值对,第二个参数embedding_dim是指每个向量的维度。例如nn.Embedding(
num_embeddings=10, embedding_dim=10
)会生成一个含有10个向量,每个向量为10维的一个查询表,这10个向量的索引为0-9。
在使用中,我们一般会在模型中定义这个一个嵌入层,如test_embd:
test_embd = nn.Embedding(
num_embeddings=10, embedding_dim=10
)
然后再使用,如
test = [0,1,2,2,5]
test_embedding = self.test_embd(torch.LongTensor(test))

可以看到在上面的结果中test列表中两个2得到的向量是相同的
注意,test列表中的数值要在0-9(因为num_embeddings=10)的范围,否则会报错index out of range in self,就和字典或者列表超出索引范围是一样的。

此外,嵌入的必须是tensor,所以首先要用torch.LongTensor()将test列表转换为tensor。
第二个问题,如果我想嵌入一个数值怎么办,例如test2 = 5,直接使用test_embd(torch.LongTensor(test2)) 也是不行的

我们会发现test_embd(torch.LongTensor(test2)) 这种方法是将查询表中第一个向量(上文中提到的test列表中的0在查询表中的向量)输出了5遍,只有使用test_embd(torch.LongTensor([test2]))
,即将单个数值先转换为列表,才能输出正确结果。
在实际的模型中,直接使用test_embd(torch.LongTensor(test2))这种方式嵌入单个数值也有可能会直接出现报错 IndexError: index out of range in self
本文详细介绍了PyTorch中的nn.Embedding层的工作原理和使用方法。nn.Embedding是一个用于词汇嵌入的模块,它创建了一个查询表,其中包含指定数量的向量,每个向量具有预设的维度。在训练过程中,该表会根据输入数据进行更新。通过nn.Embedding,可以将索引映射到相应的向量表示。当输入是单个数值时,需要将其包装在列表中以避免错误。此外,嵌入层要求输入必须是LongTensor类型。
658

被折叠的 条评论
为什么被折叠?



