12、词嵌入技术全解析：从基础到语言模型

词嵌入技术全解析：从基础到语言模型

一、句子和段落嵌入

句子和段落嵌入是将文本转换为向量表示的重要技术，在自然语言处理中有着广泛的应用。

1. 简单平均法
   最简单且有效的生成句子和段落嵌入的方法是对其组成单词的词向量求平均。这可以作为一个基线方法，在后续尝试其他复杂方法时进行对比。

2. 任务优化法
   将句子或段落视为单词序列，用标准词向量表示每个单词，再将词向量序列作为输入，训练特定任务的网络。从网络分类层前的较后层提取的向量，通常能为序列提供良好的向量表示，但这种表示往往具有很强的任务特异性，作为通用向量表示的用途有限。

3. Skip - Thought Vectors
   Kiros等人提出利用书籍文本的连续性构建编码器 - 解码器模型，该模型经过训练，能根据给定句子预测周围句子。由编码器 - 解码器网络构建的单词序列的向量表示通常被称为“思想向量”。由于其工作原理与skip - gram类似，即根据一个单词预测周围单词，这些句子向量被称为Skip - Thought Vectors。该项目最初发布了基于Theano的模型，后来谷歌研究团队用TensorFlow重新实现。Skip - Thoughts模型为每个句子输出大小为(2048)的向量。使用该模型不太直观，不过其GitHub仓库中的README.md文件提供了使用说明。

4. Google Universal Sentence Encoder