torch.nn.Embedding模块介绍

torch.nn.Embedding 是 PyTorch 中的一个嵌入层模块，用于将离散的整数索引（如单词或标记的 ID）映射到连续的密集向量空间中。常用于自然语言处理（NLP）中的词嵌入，但也适用于任何需要将类别数据转换为密集向量表示的场景。

---

参数说明

torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)

核心参数：

1. num_embeddings：

   • 嵌入词表的大小（即类别的总数）。
   • 每个类别的索引范围为 [0, num_embeddings - 1]。

2. embedding_dim：

   • 每个嵌入向量的维度大小。

可选参数：

1. padding_idx:

   • 指定一个索引，该索引的嵌入向量会被初始化为全零向量，并在训练中保持不变。
   • 常用于序列填充标记（padding token），以忽略其对模型的影响。

2. max_norm</