15、高级特征工程与自然语言处理算法：深入探索词向量模型

高级特征工程与自然语言处理算法：深入探索词向量模型

1. 基于分布相似性的表示

在自然语言处理（NLP）领域，基于分布相似性的表示是一个古老且强大的概念。分布相似性的核心思想是，通过考虑某个特定单词出现的上下文，可以获得该单词含义的丰富信息，并且该单词与上下文密切相关。著名语言学家约翰·弗斯（John Firth）有一句名言：“观其伴，知其词”。

例如，若要理解“banking”这个词的含义，可以收集包含该词的数千个句子，然后观察与“banking”一同出现的其他单词，以此来理解其使用的上下文。看下面两个句子：
- 句子 1：The banking sector is regulated by the government.
- 句子 2：Banking institutions need some technology to change their traditional operations.

在这些句子中，“banking”更频繁地与“government”“department”“operations”等词一起出现，这些词有助于理解“banking”的上下文和含义。

可以利用这些其他单词来表示“banking”的含义，也可以使用“banking”来预测当它出现在句子中时最常见的单词或短语。为了更好地表示特定单词的含义，并对该单词上下文中出现的其他单词进行预测，需要理解该单词的分布式表示。

单词的分布式表示是一种向量形式，单词以密集向量的形式表达，并且要选择合适的密集向量，以便能够很好地预测该单词上下文中出现的其他单词。对于要预测的每个其他单词，它们也有与之相关的其他单词，因此可以使用相似性度量，如向量点积。这是