18、高级特征工程与自然语言处理算法：Word2Vec 及其扩展应用

高级特征工程与自然语言处理算法：Word2Vec 及其扩展应用

1. Word2Vec 基础介绍

Word2Vec 是一种强大的技术，用于发现单词之间的相似性。它使用神经网络，但并非深度神经网络，仅包含两层，却能很好地完成单词相似性的查找任务。

• 神经网络特点 ：
  • 采用简单的逻辑激活函数，不使用非线性函数。
  • 隐藏层的激活函数是线性的，直接将输入的加权和传递到下一层。

2. Word2Vec 的应用场景

Word2Vec 在多个自然语言处理（NLP）领域有着广泛的应用：
|应用场景|具体说明|
| ---- | ---- |
|依存句法分析|在解析时生成更准确的单词依存关系|
|命名实体识别|善于发现命名实体之间的相似性，使相似实体聚集，提升识别效果|
|情感分析|保留语义相似性，以生成更好的情感分析结果，了解人们表达观点的词汇和短语|
|人名预测|根据写作风格预测人名|
|文档分类|利用其概念可在无需人工标签的情况下对文档进行分类，且准确性较高|
|单词聚类|将语义相似的单词聚类在一起|
|机器翻译|谷歌利用 Word2Vec 和深度学习改进机器翻译产品|

3. 简单示例实现

我们将实现一个著名的 Word2Vec 示例：“king - man + woman = queen”。
- 操作步骤 ：
1. 由于训练 Wo