he_wen_jie的博客

语言预训练模型已经被证明对很多NLP任务是有效的，包括自然语言推理和释义等句子级别的任务，以及命名实体识别和问答等token级别的任务。将预训的语言表示应用与下游任务的现有策略有两种：基于特征和微调。基于特征的方法：例如ELMo，使用特定的任务结构，预训练表示作为附加的特征。基于微调的方法：例如GPT，引入了最小的任务特定参数，并通过简单的微调了所有预训练参数来训练下游任务。这两种方法在预训练期间有相同的目标函数，都使用单向语言模型去学习通用语言表示。

word2vec的文章网上有非常的多，这里主要是讲代码的实现。