BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

提出契机

作者指出目前的技术限制了预训练表示的潜力，尤其是对于微调方法而言。主要限制在于标准语言模型是单向的，这导致了在预训练期间可供选择的架构受到了限制。例如，在OpenAI GPT中，作者采用了左到右的架构，这意味着每个令牌只能在其Transformer的自注意力层中关注先前的令牌。这种限制对于句级任务可能不够优化，而对于像问答这样的词级任务，当需要从两个方向融合上下文时，微调方法可能会受到非常不利的影响。

本文贡献

• **强调了双向预训练在语言表示中的重要性。**与Radford等人（2018年）不同，该研究使用了单向语言模型进行预训练，而BERT则采用了遮罩语言模型，以支持深度的双向预训练表示。这与Peters等人（2018a年）的方法形成对比，他们使用了左右独立训练的浅层连接语言模型（从左到右和从右到左的语言模型）。

• **证实了预训练表示减少了对大量精心设计的任务特定架构的需求。**BERT（Bidirectional Encoder Representations from Transformers）是第一个基于微调的表示模型，它在一系列句子级和token级任务上实现了最先进的性能，超越了许多专门设计的任务架构。

方法

模型架构：

• BERT模型结构采用的原始Transformer架构中对的编码器部分。

• 该文设计了两种类型的模型，分别为$BER{T}_{base}$