A Survey of Small Language Models

本文是LLM系列文章，针对《A Survey of Small Language Models》的翻译。

摘要

小型语言模型（SLM）因其以最少的计算资源执行各种语言任务的效率和性能而变得越来越重要，使其成为各种设置的理想选择，包括设备上、移动设备、边缘设备等。在这篇文章中，我们对SLM进行了全面的调查，重点介绍了它们的架构、训练技术和模型压缩技术。
我们提出了一种新的分类方法，用于对用于优化SLM的方法进行分类，包括模型压缩、修剪和量化技术。我们总结了可用于对SLM进行基准测试的基准数据集以及常用的评估指标。此外，我们强调了仍有待解决的关键开放挑战。
我们的调查旨在为有兴趣开发和部署小型但高效的语言模型的研究人员和从业者提供宝贵的资源。

1 引言

2 模型架构

3 训练技术

4 模型压缩技术

5 评估

6 应用

7 开放问题

8 结论

鉴于SLM因其在各种设备和环境中的效率和适用性而变得越来越重要，本文对SLM进行了调查，包括模型架构、训练技术和优化SLM的模型压缩技术。我们还介绍了SLM评估指标的直观分类，并总结了它们很重要的各种设置和应用程序。此外，我们总结了用于SLM的训练和基准数据集。最后，我们