语言模型从0训练流程

1.Tokenizer

需要建立一个“词表”，负责把文本转换为词向量

如 “我喜欢你” ----> [我，喜欢，你] ----> [1, 5, 2]

词表形如：

        我---1   你---2   水---3  火---4 喜欢---5 

词表怎么构建呢？

目前的大语言模型基本采用 BPE 方法构建词表

总之，词表可以看成把文字映射为数字的哈希表，映射规则多种多样。

2.模型预训练（预训练任务）

该阶段不需要精心构建数据集，本质上是进行文本预测。经过该训练过程的LLM，会具备续写能力。

有几种预训练方法：自编码、自回归、编码解码

不同的预训练任务，会得到不同功能偏向的模型（NLG/NLU）

Bert 的预训练目标任务是：掩码预测（自编码），利于自然语言理解

T5 的预训练目标任务是：文本预测（自回归），利于自然语言生成

GLM 的预训练目标任务是：自回归空白填充（自回归+自编码），综合了NLG和NLU的优点

数据集格式：

ori = [我，爱，玩，原，神]

x=[我，爱，玩，原]

y=[爱，玩，原，神]

假设隐藏层维度128，词表大小1000

将x输入transformer，输出4x128的logits层矩阵，然后进行softmax，得到4x1000的矩阵。

第1行表示通过输入“我”，对下一个词的预测结果，改行的1000个元素对应了词表中1000个词的概率；然后与标签“爱”进行交叉熵，计算Loss。

显然，推理时从这1000个词里取概率最大的那个词作为结果。

3.指令微调

该阶段仍是进行文本预测。但输入的前半部分不计入loss。经过该训练过程的LLM，会具备问答能力。

数据集格式：

ori = [我,爱,玩,什,么,游,戏,原,神]

x = [我,爱,玩,什,么,游,戏,原]

y = [爱,玩,什,么,游,戏,原,神]

输出为8x128的logits矩阵，经过softmax得到8x1000矩阵

loss = (第7行的loss+第8行的loss)/2

前半部分[我,爱,玩,什,么,游,戏]不计入loss，这就是我们的问题

后半部分[原，神]计入loss，这是模型预测的答案