16、词向量表示：技术与评估

词向量表示：技术与评估

在自然语言处理（NLP）领域，词向量表示是一项关键技术，它能够将单词转化为向量形式，从而让计算机更好地理解和处理自然语言。本文将深入探讨词向量表示的相关技术，包括其基本概念、获取方法、降维技术以及评估方法。

1. 词向量表示的引入

自然语言中的单词本质上是离散的符号，在基于字符的原生表示中，它们之间并没有直接的相似度度量。然而，人类却能够轻松地判断某些单词之间的相似度。例如，“dolphin”（海豚）与“whale”（鲸鱼）的相似度显然高于与“spaghetti”（意大利面）的相似度，因为海豚和鲸鱼都属于鲸目动物；同时，“dolphin”和“ocean”（海洋）的关联也比和“spaghetti”的关联更紧密，因为它们都与海洋领域相关。

为了在计算层面衡量这些相似度，一种常见的方法是将词汇表中的每个单词表示为连续空间中的向量。向量具有自然的相似度运算符，如欧几里得距离和余弦相似度，这些运算符可以为任意一对向量提供数值化的相似度度量。这种表示方式所得到的向量通常被称为词嵌入（word embeddings），在本文中统一称为词向量（word vectors）。

词向量具有以下三个主要优点：
- 高效性 ：通过向量计算相似度在内存使用上更为高效。相比之下，显式存储每对单词的相似度值的方法需要的内存与词汇表大小的平方成正比，而词向量可以是低维或稀疏的，所需内存仅为前者的一小部分。
- 泛化能力 ：使用词向量对相似度施加了传递性约束，有助于更好地进行泛化。例如，如果单词 x 与单词 y 相似，单词 y 与单词 z 相似，那么 x 和 z 也不会相差太远