自然语言处理: 第九章DeepSpeed的实践

理论基础

仓库链接: microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

DeepSpees正如它官网介绍的一样，它为深度学习模型提供了一站式的快速以及大规模的训练及推理框架，能在尽可能利用你手中的算力去作深度学习的应用

而本次主要介绍的是它在4月份发布的一站式的端到端的RLHF板块，如同其主页介绍一样，整合了一个B2B的训练流程如下图:

• 步骤1：监督微调（SFT） —— 使用精选的人类回答来微调预训练的语言模型以应对各种查询；
• 步骤2：奖励模型微调 —— 使用一个包含人类对同一查询的多个答案打分的数据集来训练一个独立的（通常比 SFT 小的）奖励模型（RW）；
• 步骤3：RLHF 训练 —— 利用P