GPT模型介绍

以下内容会使用到Transformer、BERT等模型的知识，建议读者先浏览笔者总结的博文。

Transformer解析——（一）概述_经典的transformer-优快云博客

BERT模型深入理解——自然语言处理的里程碑-优快云博客

1 概述

GPT由OpenAI研发，从2018年起已推出多个版本，如GPT-1，GPT-2，GPT-3，GPT-3.5，GPT-4等。为人们所熟知的ChatGPT是基于GPT模型开发的，专门用于人机对话交互。ChatGPT 在 GPT 的基础上，采用了RLHF（人类反馈强化学习）等技术进行微调，通过让人类对模型生成的回复进行排序和打分，再利用奖励模型来进一步优化，使 ChatGPT 能够生成更符合人类偏好和对话场景的回答，使得对话的连贯性、准确性和相关性上表现更优。

在GPT或者ChatGPT中，一般用户会先输入一些Promt（指令，提示词），模型通过这些提示词“续写”下文。例如“今天天气真”，模型会判断“好”的概率更大，所以输出“好”。但一般问答的任务并不能直接通过续写实现，所以ChatGPT会做一些优化，比如用户输入“今天天气怎么样”，ChatGPT如果直接续写，可能会生成“今天天气怎么样，这是一个好问题......”。ChatGPT做了些转换，从而回答“今天天气晴朗”。

2 结构

GPT是基于Transformer中的Decoder组成的，训练时输入语料库中的句子，模型预测下一个词。注意Transformer中的Decoder有交叉注意力，这里去除了交叉注意力模块，因为没有用Encoder的输入。

在预测时，基于已产生的句子（例如Promt和已生成的词）输入到模型中，继续预测下一个词，直到模型输出终止符号为止。GPT属于自监督学习。

3 GPT的优缺点

优点：第一，文本生成连贯自然；第二，可使用微调技术，适应多类型任务；第三，可进行推理

缺点：第一，参数多，训练困难，虽然只用了Decoder，但是层数较多（OpenAI并没有公布模型实际的结构）；第二，存在幻觉问题。

4 Decoder Only的优势

GPT模型只包含Transformer中的Decoder结构。事实上，现在主流的大语言模型都采用了Decoder Only的结构，主要原因如下：

第一，计算高效。不同于Encoder需要对输入序列进行双向注意力计算，Decoder利用掩码只对单侧注意力计算；可以通过KV Cache加速推理过程；并行计算（Encoder也可以并行计算，这里是针对其他模型而言的）。

第二，数据利用充分。因为只计算单侧注意力，所以所需的参数相对少一些，可以使用更大的语料学习。

第三，预训练和微调的一致性强。预训练和微调过程都是用自回归语言模型，一致性强，而BERT的预训练和微调一般是不同的。

第四，拓展性强。通过各式各样的Promt，GPT可以执行各种任务，比如问答、翻译、聊天等。

第五，适合生成任务。生成任务的特点就是流式产生的，例如对话、文章续写等，保证内容连贯性。

第六，优秀产品引领趋势。以ChatGPT等为代表Decoder-Only模型获得成功，对话功能使得用户直观感受到模型强大之处，更容易被普通用户接受，从而使得相关产品迅速流行，研究资源也向此方向倾斜。

5 拓展讨论

5.1 幻觉问题

“幻觉”是指GPT模型在产生结果时，可能会输出看似合理但不符合实际的内容，包括虚构内容、事实错误、逻辑矛盾等。用户使用时，很可能得到错误的信息，并且这种信息可能扩散到新闻媒体、社交媒体等领域，造成“以讹传讹”的现象，使得假信息充斥着整个世界。

“幻觉”产生的原因是：第一，训练语料是错误的；第二，模型生成时是基于概率生成的，有概率产生错误的信息；第三，模型训练和生成时是基于文本模式统计，主要考虑内容的连贯性，并不是真的理解了知识。

“幻觉”的缓解机制包括几个方面：第一，提高训练数据质量，引入事实判定模型剔除假信息；第二，在生成时引入验证机制；第三，利用用户对真实性评价的反馈进行强化学习。

5.2 In-Context Learning

即上下文学习，是指在输入Promt的语料会被模型所学习，从而输出更优质的内容。注意，在这个过程中，模型本身的参数并不会更新，Promt只影响了模型生成时的初始文本，在初始Promt基础上生成文字，有时会产生非常好的效果。比如输入“请介绍机器学习”，同时再附上一个机器学习教材pdf，那么这个pdf也会被模型所学习，从而产生更好的效果。