【论文阅读笔记】NLP预训练语言模型综述

论文标题：Pre-trained Models for Natural Language Processing: A Survey
原文链接：https://arxiv.org/pdf/2003.08271.pdf
说明：在读研究生为方便记忆梳理学习，手敲论文笔记，概括论文的主要思想和内容。

背景

1. PTMs简介

• PTMs（pre-trained models）:为了统一流程化NLP的预处理文本过程，下游任务需要预训练模型的这些学习编码器来表示上下文中的单词。
• 初代PTMs:主要学习词嵌入，可以捕捉一些语义，但是学习到语义或者特征是上下文无关的，无法捕捉更高层次的概念。（如：Skip-Gram， GloVe）
• 二代PTMs：可以学习上下文的词嵌入。（如：CoVe , ELMo，OpenAI GPT ，