大语言模型-GPT3-Language Models are Few-Shot Learners

一、背景信息：

GPT3是于2020 年由OpenAI 发布的预训练语言模型。
GPT3在自然语言处理（NLP）任务中表现出色，可以生成连贯的文本、回答问题、进行对话等。
GPT3的网络架构继续沿用GPT1、GPT2的是多层Transformer Decoder改的结构。
GPT3出自Language Models are Few-Shot Learners，语言模型是Few-Shot学习者。

二、整体结构：

更新改动

GPT3继续沿用在GPT2中使用的单向 Transformer Decoder 的结构。其中96层Decoder的GPT3被称作“GPT”
相较于GPT2模型结构，GPT3做了下面几项改动：

• 模型中的Transformer采用了类似Sparse Transformer 的结构，用以节省模型训练过程中的显存占用。
• GPT3使用的最长词向量长度为12888。
• GPT3上下文划窗的窗口大小提升至2048个token。
• GPT3分别使用了24、32、40、96层的Transformer Decoder。

Sparse Transformer

GPT3在 transformer 层中交替地使用稠密的(alternating Dense Attention)和局部带状稀疏(locally Band sparse Attention)的注意力模式，类似于 Spars