KEEP CODING

本文首发于我的个人博客 Sui Xin’s Blog原文：https://suixinblog.cn/2019/09/gpt.html作者：Sui XinGPT（Generative Pre-Training）是一个典型的两阶段式模型：无监督预训练+监督下游任务微调。而在 NLP 任务中，上游的无监督预训练任务多半采用语言模型来实现，下游的监督任务直接对上游的模型进行简单改造即可使用。GPT 为了能够有效的抓取文本中的语义信息，使用了单向的 Transformer Decoder 模块构建标准的.

本文首发于我的个人博客：Sui Xin’s Blog原文：https://suixinblog.cn/2019/09/elmo.html作者：Sui XinELMo (Embeddings from Language Models) 是一个深度上下文相关的词嵌入语言模型。运用了多层双向 LSTM 编码器。论文：Deep contextualized word representations模型架构整体上，ELMo 采用了多层双向 LSTM 编码器（上图为双层）构建语言模型，最终取各层 LS.