NLP中的嵌入层

在自然语言处理（NLP）中，嵌入层（Embedding Layer）是一个特殊的层，通常用于深度学习模型的第一层，它的作用是将离散的文本数据（如单词或短语）转换为连续的向量表示。每个单词或短语被映射到固定大小的密集向量中。嵌入层基本上是一个查找表，模型通过查找表中对应的单词索引来获取单词的向量表示。

嵌入方式：

1. Word Embeddings（词嵌入）：

   • Word2Vec： Skip-gram 和 CBOW 是两种常见的 Word2Vec 模型，用于学习单词的分布式表示。
   • GloVe（Global Vectors for Word Representation）： 基于全局统计信息，捕捉全局的词汇共现关系。
   • FastText： 扩展了 Word2Vec，通过考虑词的子词（subword）信息，提供更细粒度的表示。

2. Character Embeddings（字符嵌入）：

   • 将单词拆分为字符，每个字符嵌入为向量。

3. Entity Embeddings（实体嵌入）：

   • 将实体（如用户、商品）映射为向量。

4. Positional Embeddings（位置嵌入）：

   • 用于处理序列信息，为每个位置添加一个向量。

5. <