python应用实战系列-一文教你深入解读word2vec

文宇肃然

于 2021-06-30 06:51:19 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python快速学习实战应用系列课程文章标签：机器学习神经网络深度学习人工智能 python

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/118088002

python快速学习实战应用系列课程专栏收录该内容

139 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文深入解析word2vec，一种基于神经网络的语言模型，用于词汇表征。word2vec包括skip-gram和CBOW模型，其核心是通过训练获取词汇的向量化表示，以便于分析词汇之间的关系。文章详细介绍了CBOW模型的训练过程，展示word2vec如何通过多分类问题实现词汇降维。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

语言模型是自然语言处理的核心概念之一。word2vec是一种基于神经网络的语言模型，也是一种词汇表征方法。word2vec包括两种结构：skip-gram（跳字模型）和CBOW（连续词袋模型），但本质上都是一种词汇降维的操作。

word2vec

我们将NLP的语言模型看作是一个监督学习问题：即给定上下文词，输出中间词，或者给定中间词，输出上下文词。基于输入和输出之间的映射便是语言模型。这样的一个语言模型的目的便是检查和放在一起是否符合自然语言法则，更通俗一点说就是和搁一起是不是人话。

所以，基于监督学习的思想，本文的主角——word2vec便是一种基于神经网络训练的自然语言模型。word2vec是谷歌于2013年提出的一种NLP分析工具，其特点就是将词汇进行向量化，这样我们就可以定量的分析和挖掘词汇之间的联系。因而word2vec也是我们上一讲讲到的词嵌入表征的一种，只不过这种向量化表征需要经过神经网络训练得到。

word2vec训练神经网络得到一个关于输入和输出之间的语言模型，我们的关注重点并不是说要把这个模型训练的有多好，而是要获取训练好的神经网络权重，这个权重就是我们要拿来对输入词汇的向量化表示。一旦我们拿到了训练语料所有词汇的词向量，接下来开展 NLP 研究工作就相对容易一些了。