主流大语言模型从预训练到微调的技术原理

引言

本文设计的内容主要包含以下几个方面：

• 比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。
• 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。
• 大语言模型的参数高效微调技术：prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

1 大语言模型的细节

1.0 transformer 与 LLM

教会计算机人类的语言（用人类的语言进行思考）是一项艰巨的任务，或许从计算机发明之初这一征程就已经开始了，然而直到现在我们还有很长的路要走。最近，大语言模型大放异彩让我们看到了更大的希望。

大语言模型（Large Language Model，LLM），即规模巨大（参数量巨大）的语言模型，LLM不是一个具体的模型，而是泛指参数量巨大的语言模型。如下图所示，不同的LLM具不同的架构，例如Encoder-only、Encoder-Decoder和Decoder-only等。 这种分类方式又和语言模型中一极其重要的模型有关——Transformer。

Transformer是2017年提出的一个语言模型，最初被用于解决机器翻译的问题，但随着研究的深入，Trf（指代Transformer）在不同问题，甚至不同领域上大放异彩，在自然语言领域的文本表征、分类、生成、问答等问题上都成为了强劲的解决方案，在视觉领域也很出色。

1.1 模型结构

transformer的组成：编码器和解码器。编码器由相同的层堆叠，每层的结构有两部分，多头注意力和前馈。解码器亦由相同的层堆叠，每层的结构为多头注意力、编码器-解码器注意力和前馈。

编码器中的每个元素对整个序列来说都是可见的。解码器的每一层中有两个多头注意力，一个是解码器的输入部分作为qkv的自注意力，一个是上一个解码器层的输出作为q，最后一个编码器层的输出作为kv的编码-解码注意力。编码器层和解码器层的每一个部分都是残差块的形式而且包括了一个layer norm。

在计算注意力时一般都会涉及到掩码，主要有两种掩码：一种是关于padding的掩码，即将不同长度的序列padding到统一长度，计算注意力时需要掩盖那些padding的位置，另一种是解码器中元素可见性的掩码，即位置i的元素只能看见自身和前面的元素。

就解码器而言，输入和输出的元素个数是一样的，但输入包含了SOS，输出是不包含SOS的，因此把最后一个的预测作为下一个位置的预测。

在训练的时候，解码器是可以并行的，以teacher forcing的方式训练，推断的时候则是串行的方式，预测了一个后并入输入。

在编码器和解码器的输入处都有位置编码，位置编码和token嵌入相加。transformer采用的是三角式位置编码，除此之外还有很多类型的位置编码，如相对位置编码、旋转位置编码（RoPE）和可学习的位置编码等。

关于原始文本到token的一个转换。英语系的语言是天然的分割的，中文的字之间则没有天然的界限。在输入前，首先要做对的是对原始文本进行清洗，清洗其中无意义的符号、多余的标点、纠错、归一化（如统一大小写，繁简体等）等，这样原始文本就是干净的文本了。对文本进行分词后并不直接输入文本，就英语而言，一般会将word转化成sub word，sub word即模型中的token；中文则一般把单字作为token。sub word作为token能够降低OOV出现的概率。如何把word转化为sub word又有很多相关的方法，如Word Piece、ULM和BPE等。

1.2 训练目标