chatGPT 背后的技术 之 GPT1

 chatGPT 所用的GPT模型，最早的模型是GPT1。

今天，我们来详解GPT1的论文 Improving Language Understanding by Generative Pre-Training

论文可以从下面链接下载：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

这是一篇2018年的论文。谁能想到，在2022年大方异彩，震惊世界的GPT 模型， 它的第一篇论文，讲的GPT 1模型，在2018年时投稿了好多次，但却没有会议或者期刊接收，如果当年openAI的人放弃了GPT模型，或许人类会错失这次生产力大发展的机会？

这篇论文的题目是，通过生成式预训练提升语言模型的理解能力。

在“生成式预训练”中，“生成式”通常指的是一种模型训练的方法，其中模型被训练来生成类似于输入数据的输出。在自然语言处理领域，生成式模型通常指的是能够生成文本或者语言的模型，例如生成式对话模型或生成式语言模型。在“Improving Language Understanding