gzt940726的博客

因为上一篇文章阅读量挺高，给了我继续更新对该论文进行解读的莫大动力。这篇文章主要讲原论文的第三章（Results），讲的是GPT3在9个不同类型的数据集上表现如何。其实对于包括我在内的大多数读者或工程师来说，模型的实际效果才是最重要的，所以也很有必要好好地来看看这一章的内容。另外，下文中我尽可能以翻译为主，个人理解为辅的方式来进行，所以会以作者的第一人称来叙述。

OpenAI在放出GPT2后，并没有引起业界太大的影响和关注，究其原因，并不是zero-shot这种想法不够吸引人，而是GPT2表现出来的效果依然差强人意，仍然属于“人工智障”的阶段，然而OpenAI认为他们的方向没有问题，不在特定领域上做太多的微调，甚至不做微调（这样就能避免1.人工标注数据和2.重新训练模型）才是大规模语言模型的未来，因此在不久之后他们又提出了GPT-3，这也就是chatGPT的前生了。

在GPT1出来后不久，和GPT很相似的BERT也横空出世，并且几乎在全方位上吊打了GPT1，OpenAI扬长避短，提出了(GPT2)。它强调的通过无监督学习也能达到和finetune一样的效果，并且拥有更强的泛化能能力（个人猜测就是在finetune的情况下打不过BERT，所以主打无监督学习）自然语言处理任务，如问题解答、机器翻译、阅读理解和摘要，通常需要在特定于任务的数据集上进行监督学习。

GPT1，出自于OpenAI的论文，是最早的将transformer以多层堆叠的方式构成语言模型的模型，其出现时间早于BERT，但二者有一个最大的区别在于BERT只用的是transformer的encoder层，而GPT1只用了transformer的decoder层。除此以外二者在目标函数等地方也有各自的方法，感兴趣的可以自行阅读对比，这里不再展开。我们通过单一任务不可知（task-agnostic）模型实现了一个强大的自然语言理解框架，主要包括生成性预训练和区分性微调两部分。