大模型训练过程每个步骤的含义

预训练（Pretraining）

为模型提供知识，既费时又费力又费钱
数据：大量无标注数据，经过去噪后。
作用：利用整个互联网的数据来预测下一个Token。
预训练过程中，模型会学习词汇、句法和语义的规律，以及上下文之间的关系。

微调阶段（Fintune Stage）

更新模型权重，学习新知识，纠正错误
数据：少量带有标签数据，一般以1000为基准
作用：仍是预测下一个Token
使用少量带标签的数据对预训练模型进行再次训练，以适应特定任务。
高质量数据、数据多样性、真实数据、数据量大

加载分词器并分割你的数据。
一个epoch是对你整个数据集的一次遍历。
将这个批次数据输入模型得到结果。
从模型中计算出损失值。
执行反向传播并更新优化器。

训练参数：
max_steps 最大训练步数 =多少个训练数据的批次