A Comprehensive Survey of Small Language Models in the Era of Large Language Models

本文是LLM系列文章，针对《A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness》的翻译。

摘要

大型语言模型 (LLM) 在文本生成、问题回答和推理方面表现出了新兴的能力，促进了各种任务和领域的发展。尽管 LaPM 540B 和 Llama-3.1 405B 等LLM精通各种任务，但由于参数大小和计算需求较大而面临限制，通常需要使用云 API，这会引发隐私问题，限制边缘设备上的实时应用程序，并增加精细度。调整成本。此外，由于特定领域知识不足，LLM通常在医疗保健和法律等专业领域表现不佳，需要专门的模型。因此，小语言模型（SLM）因其低推理延迟、成本效益、高效开发、易于定制和适应性而越来越受到青睐。这些模型特别适合资源有限的环境和领域知识获取，解决了LLM的挑战，并且非常适合需要本地化数据处理以保护隐私、最小推理延迟以提高效率以及通过轻量级微调获取领域知识的应用程序。对 SLM 不断增长的需求刺激了广泛的研究和开发。然而，目前还缺乏对SLM的定义、获取、应用、增强和可靠性等相关问题的全面调查，这促使我们对这些主题进行详细的调查。 SLM 的定义差异很大，因此为了标准化，我们建议根据 SLM 执行专门任务的能力和对资源受限环境的适用性来定义 SLM，根据突发能力的最小规模和资源约束下可持续的最大规模设定边界。对于其他方面，我们提供了相关模型/方法的分类，并为每个类别开发了通用框架，以有效地增强