如何构建大模型的“偏好”训练数据？

偏好数据集包含一个提示以及至少两个对该提示的回答，这些回答由语言模型生成并被标注为“已选择”或“已拒绝”。

为了生成一个合成偏好数据集，我们需要：

• 一个提示
• 通常使用一到两个大型语言模型（LLMs）来生成对此提示的回答
• 另一个用于对生成答案进行排序的LLM

寻找提示

我们必须遵循一个系统的方法，包括选择合适的提示，生成不同的回应，并获得偏好判断。每个步骤都需要仔细考虑，以确保生成的数据集与我们的目标任务尽可能相关。

首先，准备一组涵盖广泛主题和任务类型的提示（prompts），以覆盖你希望模型掌握的能力范围。
提示的多样性非常关键，它能帮助模型学习如何应对不同类型的问题，并在各种上下文中生成恰当的回答。

例如，对于一个无特定用途的对话型大语言模型（如 ChatGPT），我们应当包含如下类型的提示：

• 要求解释事实性问题、

• 从事创意写作、

• 完成编程任务、

• 进行伦理推理，