大模型基本原理(二)——ChatGPT的工作原理

如何得到一个ChatGPT?

1、无监督预训练:通过大量的文本数据集进行无监督训练,得到一个基座模型(只会续写文本)

2、监督微调:通过一些人类撰写的高质量对话数据对基座模型进行监督微调,得到一个微调后的基座模型(除了能续写文本,还具备更好的对话能力)

3、训练奖励模型+强化学习训练:用问题和对各对应回答的数据,让人类标注员对回答进行质量排序,基于这些数据,训练出一个能对回答进行评分预测的奖励模型。

让监督微调模型对问题生成回答,用奖励模型对回答进行打分,利用评分作为反馈进行强化学习训练,就能够得到最终的ChatGPT了。

接下来让我们对每一个步骤进行详细解读

1、无监督预训练

基座模型需要海量的文本数据进行训练

无监督训练:以原始文本作为数据集和监督信息,模型通过前面的文本预测下一个出现的单词。

2、监督微调

以人类写的专业且高质量的对话作为监督数据集训练基座模型,最后得到SFT模型。

3、训练奖励模型+强化学习训练

强化学习:

让模型在环境里采取行动,获得结果反馈,从反馈里学习,从而能在给定情况下采取最佳行动,来最大化奖励或最小化损失。

理想情况下是将问题抛给GPT,人类对GPT做出的回答进行打分,最终GPT根据打分优化模型。

打分一般基于3H原则:

但是人类打分成本高效率低,于是开发了一个奖励模型,能够对GPT生成的回答进行打分。

奖励模型

训练数据:让SFT模型对每个问题生成多个回答,让人类对多个回答进行比较排序。这些数据就可以作为奖励模型的训练数据了。

经过训练后,奖励模型就能够正确的预测出GPT每个回答的评分了。

最终,经过不断的强化学习训练,奖励模型不变,SFT模型不断优化权重参数,最终得到能够和人类进行对话的Chat GPT了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值