torch.nn.Embedding学习

使用方法：

torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None,
 max_norm=None,  norm_type=2.0,   scale_grad_by_freq=False, 
 sparse=False,  _weight=None)

 

参数含义：

num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999）
embedding_dim (python:int) – 嵌入向量的维度，即用多少维来表示一个符号。
padding_idx (python:int, optional) – 填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用统一的数字填充，而这里就是指定这个数字，这样，网络在遇到填充id时，就不会计算其与其它符号的相关性。（初始化为0）
max_norm (python:float, optional) – 最大范数，如果嵌入向量的范数超过了这个界限，就要进行再归一化。
norm_type (python:float, optional) – 指定利用什么范数计算，并用于对比max_norm，默认为2范数。
scale_grad_by_freq (boolean, optional) – 根据单词在mini-batch中出现的频率，对梯度进行放缩。默认为False.
sparse (bool, optional) – 若为True,则与权重矩阵相关的梯度转变为稀疏张量。

算法逻辑：

1.随机初始化词向量层，构建二维表，存储语料中每个词的词向量；

2.每个batch训练，计算每个句子的长度，记录长度，将单词转化为i词典中的序号，句子结尾加EOS，对长度不足的句子，进行填充；从词向量表中查找batch中单词的词向量，送入网络；

3.产出计算结果，送入网络的维度是[seq_len， batch_size]，产出结果维度是[seq_len， batch_size,embedding_size]，最后一个维度为词向量。

Embedding和Linear比较相似，Embedding输入时词的序号，Linear的输入是向量，一般在模型第一层放Embedding，模型后面不再使用Embedding，使用Linear。