word2vec

关注

原创最新推荐文章于 2026-03-31 13:00:37 发布 1.5k 阅读 AI 写同款· GEO 优化 ›

Word2Vec中文语料实战 1、环境配置本人使用的是MacBook +Python2.7.11 首先，安装NLP工具包gensim，这里包含了今天的主角：Word2Vec pip install--upgrade gensim 其次，安装中文分词工具包jieba pip installjieba 2、语料库说明阅读详情

Author: kangbingbing;
Email: kangb93@126.com
Datawhale

word2vec简介

Word2vec是Google实现word embedding的一种具体的方式。因为速度快效果好，而广为人知。而Word embedding是一个普适的概念或者任务，即用向量来表示字或词，一般也称为词嵌入。

核心公式：

简单来说，Word2Vec就是“两个训练方案＋两个提速手段”，两个训练方案见下表，两个提速手段分别为HS（Hierarchical Softmax ）、负采样（Negative Sampling）。我们设置一个大小为 t 的窗口，在数据集里随机抽取一个中心词Wt，这个词的前c个和后 c个单词构成该词的上下文，即：
$c o n t e x t (W) = (W t - c, . . ., W t - 2, W t - 1; W t + 1, W t + 2, . . ., W t + c)$

model	训练方法	说明	目标函数
skip-gram	神经网络	最大化 $p (w / c o n t e x t (w))$ ，即用中心词w的上下文去预测 w	最大化均值“对数似然概率” 见式①、式② ，式①中两个词之间的 skip-gram 概率 $p (w t + j / w t)$ 可以定义为式②，式②分子是把w对应的词向量和 context(w) 里的某个词对应的词向量做内积，分母是把 w对应的词向量和词汇表中的所有词向量做内积
CBOW	神经网络	最大化 $p (c o n t e x t (w) / w)$ ，即用中心词w去预测其上下文	与skip-gram类似, 调换Wt+j和Wt的位置即可

①
在这里插入图片描述

②
在这里插入图片描述

算法十问

在小数据集中，Skip-gram和CBOW哪种表现更好？

Skip-gram是用一个center word预测其context里的word；而CBOW是用context里的所有word去预测一个center word。显然，前者对训练数据的利用更高效（构造的数据集多），因此，对于较小的语料库，Skip-gram是更好的选择。

为什么要使用HS（Hierarchical Softmax ）和负采样（Negative Sampling）？

两个模型的原始做法都是做内积，经过 Softmax 后得到概率，因此复杂度很高。假设我们拥有一个百万量级的词典，每一步训练都需要计算上百万次词向量的内积，显然这是无法容忍的。因此人们提出了两种较为实用的训练技巧，即HS和Negative Sampling。

介绍一下HS（Hierarchical Softmax ）

HS 是试图用词频建立一棵哈夫曼树，那么经常出现的词路径会比较短。树的叶子节点表示词，共词典大小多个，而非叶子结点是模型的参数，比词典个数少一个。要预测的词，转化成预测从根节点到该词所在叶子节点的路径，是多个二分类问题。本质是把 N 分类问题变成 log(N)次二分类

介绍一下负采样（Negative Sampling）

把原来的 Softmax 多分类问题，直接转化成一个正例和多个负例的二分类问题。让正例预测 1，负例预测 0，这样子更新局部的参数。

负采样为什么要用词频来做采样概率？

可以让频率高的词先学习，然后带动其他词的学习。

对比 Skip-gram 和 CBOW

CBOW 会比Skip-gram训练速度更快，因为前者每次会更新 context(w) 的词向量，而 Skip-gram 只更新核心词的词向量。 Skip-gram 对低频词效果比 CBOW好，因为Skip-gram 是尝试用当前词去预测上下文，当前词是低频词还是高频词没有区别。但是 CBOW 相当于是完形填空，会选择最常见或者说概率最大的词来补全，因此不太会选择低频词。