pytorch nn.Embedding的用法和理解

feiba54

已于 2022-02-25 11:39:39 修改

阅读量6.5w

点赞数 249

分类专栏： PyTorch 文章标签： pytorch 深度学习 python

于 2021-03-25 18:31:39 首次发布

本文链接：https://blog.youkuaiyun.com/qq_39540454/article/details/115215056

版权

本文详细解析PyTorch中的nn.Embedding模块，包括其作为lookup table的性质和如何通过indices获取word embeddings。通过示例解释了nn.Embedding.from_pretrained()的用法，说明了输入为indices时如何从weight矩阵中取出对应的词向量，形成二维句子的三维词向量张量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（2021.05.26补充）nn.Embedding.from_pretrained()的使用：
在这里插入图片描述

>>> # FloatTensor containing pretrained weights
>>> weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])
>>> embedding = nn.Embedding.from_pretrained(weight)
>>> # Get embeddings for index 1
>>> input = torch.LongTensor([1])
>>> embedding(input)
tensor([[ 4.0000,  5.1000,  6.3000]])

首先来看official docs对nn.Embedding的定义：
是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。
在这里插入图片描述