15、高级特征工程与自然语言处理算法：深入理解Word2Vec模型

高级特征工程与自然语言处理算法：深入理解Word2Vec模型

1. 基于分布相似性的表示

在自然语言处理（NLP）中，基于分布相似性的表示是一个古老且强大的概念。分布相似性的理念是，通过考虑某个特定单词出现的上下文，可以很好地表示该单词的含义，并且该单词与上下文高度相关。著名语言学家约翰·弗斯（John Firth）有一句名言：“观其伴，知其词”。

例如，若要理解“banking”这个词的含义，可以收集包含该词的数千个句子，然后观察与“banking”一同出现的其他单词，以此来理解其使用的上下文。以下是两个例句：
- 句子1：The banking sector is regulated by the government.
- 句子2：Banking institutions need some technology to change their traditional operations.

在这些句子中，“banking”经常与“government”“department”“operations”等词一同出现，这些词有助于理解“banking”的上下文和含义。同时，也可以利用“banking”来预测当它出现在句子中时，最常与之共同出现的单词或短语。

为了更好地表示特定单词的含义，并对出现在其上下文中的其他单词进行预测，需要理解该单词的分布表示。单词的分布表示是一种向量形式，单词以密集向量的形式表达，该向量要能够很好地预测出现在其上下文中的其他单词。由于要预测的其他单词也有与之相关的其他单词，因此会使用相似度度量，如向量点积。这是一种递归方法，每个单词都会预测可能出现在相同上下文中的其他单词，而被预测的单词也会进行相同的操作。所以，