Forskamse's Blog

本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练语言模型的使用方式与相关应用。...

本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练任务及训练技巧。预训练任务预训练任务可归类成监督学习、无监督学习和自监督学习三类任务。自监督学习略微特殊，它也有输入和输出标签，所以训练方法其实和监督学习一致，但是它的标签是自动生成而非人工标注的，最典型的

先引入一些概念：Features：语言有哪些基本特征：syntacticor semantic features of the languageuniversal language representations (through large corpus)特征的表示方法：Distributed Representation发展史：模型发展简史Non-neural network methodsNeural models (CNN, RNN, GNN, Attention Mechan