chatGPT 背后的技术 之 GPT2

 在前面的文章 chatGPT 背后的技术 之 GPT3_chatgpt3-优快云博客 我们讲了GPT3，这篇文章我们讲GPT3的基础，也是上一代GPT, GPT2。

GPT2 的细节发表在论文 Language Models are Unsupervised Multitask Learners ，原文可以在 https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

下载阅读。

下面我们通过上面这篇论文来讲GPT2的技术细节。

这篇论文是讲“无监督的多任务的学习模型”，这是一篇2019年的论文，在此之前，自然语言处理的任务（比如问答，翻译，阅读理解，对内容进行总结），都是用的监督学习，但用这样的方法会导致系统比较脆弱和对于数据分布的微小变化很敏感。这些系统可以看作是某些领域的专家，而不是有能力的通