A Survey of Small Language Models

本文是LLM系列文章,针对《A Survey of Small Language Models》的翻译。

摘要

小型语言模型(SLM)因其以最少的计算资源执行各种语言任务的效率和性能而变得越来越重要,使其成为各种设置的理想选择,包括设备上、移动设备、边缘设备等。在这篇文章中,我们对SLM进行了全面的调查,重点介绍了它们的架构、训练技术和模型压缩技术。
我们提出了一种新的分类方法,用于对用于优化SLM的方法进行分类,包括模型压缩、修剪和量化技术。我们总结了可用于对SLM进行基准测试的基准数据集以及常用的评估指标。此外,我们强调了仍有待解决的关键开放挑战。
我们的调查旨在为有兴趣开发和部署小型但高效的语言模型的研究人员和从业者提供宝贵的资源。

1 引言

2 模型架构

3 训练技术

4 模型压缩技术

5 评估

6 应用

7 开放问题

8 结论

鉴于SLM因其在各种设备和环境中的效率和适用性而变得越来越重要,本文对SLM进行了调查,包括

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值