1 训练方法
1.1 预训练
预训练是一种无监督训练,预训练的时候是使用大量无标注的文本,让模型每次都预测下一个字符的方式来训练。
1.2 指令监督微调
指令微调是相对“预训练”来讲的,指令微调也可以叫“监督微调”,也就是对于输入文本有标准答案,用标准答案来训练模型。一般预训练完毕后就要进行指令微调,经过指令微调后,大语言模型能够展现出较强的指令遵循能力,可以通过零样本学习的方式解决多种下游任务。
参考链接:https://blog.youkuaiyun.com/fuhanghang/article/details/142364809
1.3 奖励模型训练
背景:在SFT 数据有限的情况下,我们对模型的引导能力就是有限的。这将导致预训练模型中原先错误或有害的知识没能在 SFT 数据中被纠正,从而出现「有害性」或「幻觉」的问题。
需要利用强化学习优化模型:一些让模型脱离昂贵标注数据,自我进行迭代的方法被提出,比如:RLHF,DPO,RLHF是直接告诉模型当前样本的(好坏)得分,DPO 是同时给模型一条好的样本和一条坏的样本。最终目的是告知模型什么是好的数据,什么是不好的数据,将大模型训练地更加符合人类偏好。
设计有效的奖励模型是 RLHF 的关键一步
奖励模型就是一个对模型生成结果进行打分的小模型。
参考链接:https://blog.youkuaiyun.com/qq_43243579/article/details/136205573