6.3 图解BERT模型：从零开始构建BERT

论文地址

• https://arxiv.org/pdf/1810.04805

本文首先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。

BERT 模型提出已经有接近两年的时间了，学术界和工业界也都在不断迭代。想要深入掌握的话，不仅要知道原理，更要懂得源码细节，以及亲手实战 BERT 精调，了解这两年来一系列模型的发展脉络。

BERT受到完型填空任务的启发，通过使用一个“masked language model”(MLM)预训练目标来减轻上面提到的单向约束问题。 MLM随机masks掉input中的一些tokens，目标是从这些tokens的上下文中预测出它们在原始词汇表中的id。不想left-to-right 的预训练语言模型，MLM目标使得表征融合了left和right的上下文信息，这允许作者预训练一个深度双向的Transformer模型。除了MLM，作者还使用了一个“next sentence prediction”任务，连带的预训练text-pair表征。论文的贡献如下：

• 展示了双向预训练语言表征的重要性。BERT使用MLM使得模型可以预训练深度双向表征；GPT在预训练上使用单向语言模型；ELMo使用分别训练好