论文阅读笔记——GPT-1，GPT-2，GPT-3，InstructGPT

GPT-1

GPT-1 论文
传统 NLP 需要大量人工标注数据，且词嵌入技术（Word2Vec）仅学习词级表示，无法捕捉句子之间逻辑关系。且对于各个任务（机器翻译、语言建模等）需独立设计模型且迁移复杂。
GPT-1的思想是先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定热任务进行微调。（自回归语言建模）

无监督预训练

基于语言模型进行训练，给定一个无标签的序列 U = { u 1 , u 2 , … … , u n } \mathcal{U}=\{u_1,u_2,……,u_n\} U={ u1​,u2​,……,un​}，语言模型的目标是最大化这个似然值：
$$L_1(\mathcal{U})=\sum _i\log P(u_i|u_{i-k},\dots \dots ,u_{i-1};\Theta )(1)$$
其中 k 是滑动窗口大小，P 是条件概率，$\Theta$ 是模型参数。

在 GPT-1 中，使用了 12 个 Transformer 块作为解码器，每个 Transformer 块是一个掩码多头自注意力，通过全连接得到输出的概率分布。（Decoder-only —— Next Token Prediction）
$$\begin{array}{rl}{h}_0& =U{W}_e+W_p\\ h_l& =\text{transformer block}(h_{l-1})\forall i\in [1,n]\\ P(u)& =\mathrm{softmax}(h_n{W}_e^T)\end{array}$$