BERT基础（三）：BERT与Word2Vec、ELMO的比较与所做改进分析

最新推荐文章于 2025-07-14 01:01:48 发布

原创

最新推荐文章于 2025-07-14 01:01:48 发布 · 7.7k 阅读

49 ·

CC 4.0 BY-SA版权

文章标签：

#BERT

本文对比分析了BERT、Word2Vec和ELMO三种词向量模型。BERT通过Masked Language Model和Sentence-level Representation任务进行预训练，解决了Word2Vec静态词向量和ELMo的“自己看见自己”问题，提升了模型的上下文理解能力。

参考文章：
Bert浅析
 从Word Embedding到Bert模型——自然语言处理预训练技术发展史

关于self-attention与transformer参考之前的博文
BERT基础（二）：Transformer 详解
 BERT基础（一）：self_attention自注意力详解

简单来说，词向量模型是一个工具，可以把文字（词语/字符）转换成向量，然后我们使用这些向量来完成各种 NLP 任务。因而某种意义上，NLP 任务分成两部分：预训练产生词向量，对词向量进行操作（下游具体 NLP 任务）。

一、 Word2vec

Word2Vec 模型训练出来的词向量之间具有类似线性的关系，这是一个很神奇的地方，例如：
$v e c (k i n g) - v e c (m a n) = v e c (q u e e n) - v e c (w o m a n)$ {v}

从而也说明高维空间映射的词向量可以很好体现真实世界中 token 之间的关系。

Word2Ved 的另一个重要特性就是其采用的负采样(nagative sampling)技术。由于训练词向量模型的目标不是为了得到一个多么精准的语言模型，而是为了获得它的副产物——词向量。所以要做到的不是在几万几十万个 token 中艰难计算 softmax 获得最优的那个词（预测对于给定词的下一词），而只需能做到在几个词中找到对的那个词就行。这几个词包括一个正例（即直接给定下一词），和随机产生的噪声词（采样抽取的几个负例），就是说训练一个 sigmoid 二分类器，只要模型能够从中找出正确的词就认为完成任务。这种负采样思想也应用到之后的 BERT 里，只不过从 word-level 变成 sentence-level，这样能获取句子之间的关联关系。