27、自然语言处理中的词嵌入、情感分析与相似度度量

自然语言处理中的词嵌入、情感分析与相似度度量

1. 词嵌入与向量空间

在文本处理中，我们通过模型查找与特定词在向量空间中相近的词。例如，在查找过程中，发现文本预处理可能存在不足，像识别出的“labour - the”和“‘the” ，不过模型仍能识别出它们与 “the” 密切相关。对于 “see” 这个查找词，语言模型生成的嵌入似乎将动词归为一类；“of” 这一行则全是介词，如 “with”、“in” 和 “by”。“monster” 与 “slothful”、“chains” 和 “devoting” 归为一组，推测在书中 “slothful” 和 “chains” 可能常与 “monster” 一起使用。“read” 和 “hamlet” 关联在一起也有一定合理性。

这些观察表明，通过与语言模型一起训练生成的词嵌入能够捕捉词之间的某些相似性或其他关系。在编程示例中，我们可以通过分析来识别向量空间中相近的词，也可以使用 TensorBoard（TensorFlow 框架的一部分）来可视化嵌入。

我们还可以构建二维的嵌入空间，将不同词性的词分到不同象限，但实际中可能是多维的。例如，一个维度可以表示词是否为名词，另一个维度表示是否为动词等。这种方法的好处是能将词分为比四个象限更多的类别。

以 “boy”、“girl”、“man” 和 “woman” 这四个词为例，至少有两种分类方式：
- 按性别分：Female = [girl, woman]; Male = [boy, man]
- 按年龄分：Child = [girl, boy]; Adult = [man, woman]

我们可以让 x 维度区分性别，y 维度区分年龄