qq_51950566的博客

本文其实就是对序列标注问题进行了重构，将其构建成机器翻译任务，（感觉有点像预训练微调模型的思想，将问题进行重构）。最终。

摘要部分简要介绍了一下这篇文章的主要工作，并直接摆出数据展示了本文工作的效果是非常好的。本文提出了一个叫BERT的语言模型，BERT使用了Transformers双向编码器进行构建，与GPT不同的是，BERT采用双向编码器，在预训练阶段可以学习到上下文信息。（GPT预训练阶段的任务是预测下一词，只使用了上文信息）。在流程上BERT也是预训练微调范式，只需要对预训练的模型进行微笑的调整，就能适应很多种类的下游任务。

自然语言理解里很非常多的任务，比如文本蕴涵、问答、语义相似性评估和文档分类。虽然未标注的文本数据非常的丰富，但是标注好的文本数据却非常的有限。因此想使用标注数据去训练分辨模型的话，数据量是不够的（提出问题）。本文给出的解决方法是，先在没有标记的数据上训练预训练的语言模型，然后再针对不同的子任务，在有标签的数据上训练出微调模型（解决方法）。与以前的方法相比，本文在微调过程中构造和任务相关的输入，从而只需要对模型架构做微小的改变（和之前方法的比较）。最终本文的方法在12个任务里面，有9个达到了最好的效果。