word embedding与word2vec的区别和联系

0 前言

NLP萌新一枚，经常看到word embedding与word2vec两个关键词，根据我之前掌握的机器学习的皮毛，我觉得这个词组的意思都是将自然语言表示成向量的形式。但是他们有什么区别呢，今天我查了一些资料，在此做一下记录。

1 区别和联系

word embedding是指词向量，是一个将词向量化的概念，来源于Bengio的论文《Neural probabilistic language models》，中文译名有"词嵌入"。word2vec则是将词映射成词向量的一种具体的技术。几个比较有名的word embedding方法包括：
word2vec (Google), GloVe, wordRank, FastText (Facebook)。区别的话，就是一个是概念，一个是实现手段。

word2vec是谷歌提出一种word embedding 的工具或者算法集合，采用了两种模型(CBOW与skip-gram模型)与两种方法(负采样与层次softmax方法)的组合，比较常见的组合为 skip-gram+负采样方法。

word embedding是一种对单词从稀疏（one hot vector）空间映射到稠密（vector）空间技术的统称，这个映射矩阵更多时候应用方式是根据具体的task end2end的学习。
word2vec是embedding的一种，其目标是根据word 间的共现信息来学习word onehot表达到vector 的映射矩阵，用ngram信息来监督。
word2vec不关心后续的应用场景，其学习到的是就是根据共现信息得到的单词的表达，在不同的子task间都会有一定效果。而end2end训练的embedding其和具体子task的学习目标紧密相关 直接迁移到另一个子task的能力非常弱

有关word2vec与word embedding的详细学习参考：
word2vec中的数学原理详解：word2vec 中的数学原理详解（一）目录和前言
对于起源与其他的word embedding方法可以查看 Deep Learning in NLP （一）词向量和语言模型

原文来源：
作者：周国睿
链接：https://www.zhihu.com/question/53354714/answer/211880226
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
作者：漆鹏
链接：https://www.zhihu.com/question/53354714/answer/134664719
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。