自然语言处理基础知识入门(二) Word2vec模型，层次softmax，负采样算法详解

---

前言

提示：这里可以添加本文要记录的大概内容：
在上一篇博文中，详细探讨了NLP（自然语言处理）领域中两个核心技术：基于统计的N-gram模型与基于深度学习的NNLM（神经网络语言模型）。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码)，这种方法可能忽略了单词之间在某些层面上的相似性，从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息，可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身，这种方法成功地为词向量赋予了包含语义信息的能力。然而，这种算法最大的挑战是它所需的多分类运算——分类的数量与词汇表的规模相匹敌，这在处理大型词汇库时无疑是计算上与性能上的巨大挑战。正因如此，Word2Vec模型对此技术进行了创新和优化，极大地加快了词向量的语义信息学习过程。

在这篇文章中，旨在帮助读者深入理解相关知识，为此，选择了将算法原理和应用思想分开讲解，以便于提供一个更加清晰的学习路径。

Wor