17、机器学习中的强化学习与偏差处理

机器学习中的强化学习与偏差处理

1. 强化学习步骤拆解

强化学习过程可简化为三个关键步骤：
- 数据收集与模型微调 ：从与人类实时交互的预训练模型收集数据。OpenAI将人类提出的实际问题发送给人工标注团队，标注后的数据用于微调大型GPT - 3类型模型，如GPT - 3.5。
- 模型输出排序与奖励模型训练 ：对微调后的模型提交提示，让人工标注者对输出进行排序。基于这些排序后的响应，训练一个奖励模型，该模型根据人类响应为给定提示评分。
- 强化学习算法连接 ：使用PPO强化学习算法，从大语言模型生成提示响应，将其与奖励模型对比得到奖励，用该奖励更新PPO算法，使后续响应更接近最高奖励。

以下是强化学习步骤的mermaid流程图：

graph LR
    A[数据收集与模型微调] --> B[模型输出排序与奖励模型训练]
    B --> C[强化学习算法连接]

2. 机器学习模型的微调与评估

在机器学习中，对语言、文本和图像等模型的微调与评估至关重要。不同类型的模型微调有不同特点：
| 模型类型 | 微调特点 |
| ---- | ---- |
| 语言模型 | 通常少量数据即可微调 |
| 视觉模型 | 容易过拟合，微调具有挑战性 |
| 视觉 - 语言联合模型 | 如Stable Diffusion和Riffusion等 |