论文阅读笔记 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

前言

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding\

介绍

本文介绍的language representation model就是大名鼎鼎的BERT，其模型结构是利用Transformer的双向Encoder表示。BERT有个明显的特点就是，它通过在所有层的左侧和右侧上下文中共同进行条件预处理，从而在未标记的文本中预训练深层双向表示。

现有两种将预训练语言表示应用于下游任务的策略：feature-based和fine-tuning，基于特征的方法，比较典型的就是ELMo，使用特定于任务的架构，其中包括预训练的表示形式作为附加功能。微调的方式，众所周知的是GPT了，这种方式通过引入最少的特定于任务的参数，并通过简单地微调所有预训练的参数来对下游任务进行训练。两种方法在预训练过程中具有相同的目标功能，它们使用单向语言模型学习通用语言表示形式。而BERT作为预训练模型，就是定位于通过微调的方式，不过和其他模型有个区别就是（前面我加粗字体），BERT是双向结合上下文的架构，论文里面说双向有利于句子级任务。

BERT的特别之处：