37-大模型（LLMs）强化学习——RLHF及其变种篇

大模型（LLMs）强化学习——RLHF及其变种篇

一、介绍一下 LLM的经典预训练Pipeline？

目前基于Transformer decoder的LLM，比如ChatGPT、LLaMA、baichuan等，通常都会有基于预训练的base模型和在base模型至少使用RLHF微调的Chat模型，Chat模型的训练一般都包括如下三个步骤：预训练，有监督微调和对齐。

1. 在预训练阶段，模型会从大量无标注文本数据集中学习通用知识；
2. 使用「有监督微调」（SFT）优化模型以更好地遵守特定指令；
3. 使用对齐技术使LLM可以更有用且更安全地响应用户提示。

二、预训练（Pre-training）篇

2.1 具体介绍一下 预训练（Pre-training）？

预训练（Pre-training）：利用数十亿到数万亿个token的庞大文本语料库对模型继续预训练，使模型能够根据提供的文本来预测「下一个单词」。

三、有监督微调（Supervised Tinetuning）篇

具体介绍一下 有监督微调（Supervised Tinetuning）？

有监督微调（Supervised Tinetuning）:虽然 SFT 训练目标和预训练（Pre-training）类似，也是需要模型预测「下一个单词」，但是需要人工标注的指令数据集，其中模型的输入是一个指令（根据任务的不同，也可能包含一段输入文本），输出为模型的预期回复内容。

有监督微调（Supervised Tinetuning）的训练数据格式是什么样？

Instruction: “Write a limerick about a pelican.”
指令：“写一首关于鹈鹕的打油诗。”

Output: “There once was a pelican so fine…”
输出：“从前有一只鹈鹕很好…”

模型会把"Write a limerick about a pelican"作为输入，逐个token进行预测，输出"There once was a pelican so fine…"

预训练（Pre-training） vs 有监督微调（Supervised Tinetuning）区别？

• 相同点：

  • 训练目标相同：模型需要根据提供的文本来预测「下一个单词」；

• 不同点：

  • 训练数据量不同：有监督微调（Supervised Tinetuning）需要训练数据量比预训练（Pre-training）小很多；
  • 训练数据格式不同：有监督微调（Supervised Tinetuning）需要人工标注的训练数据，预训练（Pre-training）不需要；

四、对齐（Alignment）篇

简单介绍一下 对齐（Alignment）？

对齐（Alignment）：通过微调的方式，将语言模型与人类的偏好、价值观进行对齐，这也是RLHF机制发挥的地方。

五、Reinforcement Learning with Human Feedback (RLHF)篇

简单介绍一下 RLHF 流程？

1. 在预训练