A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs

本文是LLM系列文章,针对《A Little Help Goes a Long Way: Efficient LLM Training by
Leveraging Small LMs》的翻译。

摘要

大型语言模型(LLM)开发的一个主要挑战是其繁重的预训练成本。通常,这种预训练涉及在大型语料库上优化自我监督目标(如下一个token预测)。本文探索了一种通过适当利用小语言模型(SLM)来提高LLM预训练效率和质量的有前景的范式。特别是,这种范式依赖于SLM来(1)提供软标签作为额外的训练监督,以及(2)选择一小部分有价值的(“信息”和“硬”)训练示例。总的来说,这使得SLM的预测分布能够有效地转移到LLM,同时优先考虑训练数据分布的特定区域。根据经验,与标准训练相比,这可以减少LLM的训练时间,同时提高整体质量。理论上,我们开发了一个统计框架,系统地研究SLM在高效训练高质量LLM方面的效用。特别是,我们的框架描述了SLM看似低质量的监督如何加强更有能力的LLM的训练。此外,它还强调了通过在SLM提供的软标签引入的偏差和方差之间取得平衡,对这种监督进行适应性利用的必要性。我们通过在Pile数据集上使用具有1.5B参数的较小LM来改进具有2.8B参数的LLM的预训练,从而证实了我们的理论框

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值