【论文阅读笔记】NLP预训练语言模型综述

论文标题：Pre-trained Models for Natural Language Processing: A Survey
原文链接：https://arxiv.org/pdf/2003.08271.pdf
说明：在读研究生为方便记忆梳理学习，手敲论文笔记，概括论文的主要思想和内容。

背景

1. PTMs简介

• PTMs（pre-trained models）:为了统一流程化NLP的预处理文本过程，下游任务需要预训练模型的这些学习编码器来表示上下文中的单词。
• 初代PTMs:主要学习词嵌入，可以捕捉一些语义，但是学习到语义或者特征是上下文无关的，无法捕捉更高层次的概念。（如：Skip-Gram， GloVe）
• 二代PTMs：可以学习上下文的词嵌入。（如：CoVe , ELMo，OpenAI GPT ，BERT ）

2. 神经上下文编码器

• 语言表示学习：静态的非上下文结构嵌入（CharCNN , FastText and Byte-Pair Encoding (BPE) ），和上下文结构嵌入
• 神经上下文编码器
  

3. Pre-training的优点

• 学习丰富语义为下游工作做准备；
• 提供更好的模型初始化，更好的泛化性、加快收敛速度；
• 作正则化，避免小数据时过拟合。