GPT家族

最新推荐文章于 2025-10-10 23:05:52 发布

原创

最新推荐文章于 2025-10-10 23:05:52 发布 · 763 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #自然语言处理 #深度学习 #人工智能

本文介绍了GPT模型从初代到GPT-3的发展，详细阐述了模型结构，特别是GPT如何利用Transformer的Decoder进行预训练和有监督的微调。GPT-2通过增加层数、词汇量和序列长度来提升性能，而GPT-3则通过巨大的参数量和少量示例（few-shot）实现出色的表现。

目前chatGPT火的一塌糊涂，但是论文还没正式公开（目前官网是说和 InstructGPT方法一致但数据有区别）。但是也可以看看GPT到GPT-3，以及InstructGPT，之前对gpt了解不多，只知道用的是transformer的decode，在这里详细拜读一下论文。

GPT

模型结构

GPT最主要的结构就是transformer的decoder结构，而实际transformer的decoder没那么简单：
左边是transformer的decoder，分为两部分attention：
1、第一层的attention叫Masked Multi-Head Attention，由于decoder解码是由前面的结果预测下一个token，所以对于被预测token以及后面的token都要进行mask。这里的mask操作上也有很多细节可以聊聊：
在这里插入图片描述
2、第二层的attention和transformer的encoder层的attention一样，但是KQV的值不太一样，这里的KQV中的KV都是encoder的输出，而Q是经过第一层attention（上述Masked Multi-Head Attention）的输出，实际利用的是上一次decoder的输出（可以是模型前一刻的真实预测值，也可以是前一刻的ground-truth，这就涉及到Teacher Forcing了）