大模型&VLM

1 训练方法

1.1 预训练

预训练是一种无监督训练，预训练的时候是使用大量无标注的文本，让模型每次都预测下一个字符的方式来训练。

1.2 指令监督微调

指令微调是相对“预训练”来讲的，指令微调也可以叫“监督微调”，也就是对于输入文本有标准答案，用标准答案来训练模型。一般预训练完毕后就要进行指令微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。
参考链接：https://blog.youkuaiyun.com/fuhanghang/article/details/142364809

1.3 奖励模型训练

背景：在SFT 数据有限的情况下，我们对模型的引导能力就是有限的。这将导致预训练模型中原先错误或有害的知识没能在 SFT 数据中被纠正，从而出现「有害性」或「幻觉」的问题。
需要利用强化学习优化模型：一些让模型脱离昂贵标注数据，自我进行迭代的方法被提出，比如：RLHF，DPO，RLHF是直接告诉模型当前样本的（好坏）得分，DPO 是同时给模型一条好的样本和一条坏的样本。最终目的是告知模型什么是好的数据，什么是不好的数据，将大模型训练地更加符合人类偏好。
设计有效的奖励模型是 RLHF 的关键一步
奖励模型就是一个对模型生成结果进行打分的小模型。
参考链接：https://blog.youkuaiyun.com/qq_43243579/article/details/136205573

1.4 PPO训练