GUEST_MTE的博客

1.大规模预训练: 准备大规模的文本数据，并且进行严格的清洗，去除掉可能包含有毒有害的内容，最后将清洗后的数据进行词元化流，并且切分成批次（Batch），用于大语言模型的预训练2.指令微调与人类对齐指令微调,基础的预训练模型一开始并不一定能像现在一样可以人机问答处理/任务求解非常流畅，需要使用任务输入与输出的等配对数据进行模型训练（需要指令微调），使得模型有着更好的通用任务解决能力，通过指令微调，可以让模型朝需要的方向去发展，并且指令微调所需要的算力相比于预训练低很多。人类对齐。