BERT详解

1.背景结构

1.1 基础知识

BERT（Bidirectional Encoder Representations from Transformers）是谷歌提出，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是前几年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点：

1. 使用了双向Transformer作为算法的主要框架，之前的模型是从左向右输入一个文本序列，或者将 left-to-right 和
   right-to-left 的训练结合起来，实验的结果表明，双向训练的语言模型对语境的理解会比单向的语言模型更深刻；
2. 使用了Mask Language Model(MLM) 和 Next Sentence Prediction(NSP) 的多任务训练目标；
3. 使用更强大的机器训练更大规模的数据，使BERT的结果达到了全新的高度，并且Google开源了BERT模型，用户可以直接使用BERT作为Word2Vec的转换矩阵并高效地将其应用到自己的任务中。

BERT 只利用了 Transformer 的 encoder 部分。因为 BERT 的目标是生成语言模型，所以只需要 encoder 机制。

1.2 BERT与其他模型相比

• RNN/LSTM：可以做到并发执行，同时提取词在句子中的关系特征，并且能在多个不同层次提取关系特征，进而