Efficient Large Language Models: A Survey

本文是LLM系列文章，针对《Efficient Large Language Models: A Survey》的翻译。

摘要

大型语言模型（LLM）在自然语言理解、语言生成和复杂推理等重要任务中表现出了非凡的能力，并有可能对我们的社会产生重大影响。然而，这种能力伴随着它们所需的大量资源，突出表明迫切需要开发有效的技术来应对其效率挑战。在这项调查中，我们对有效的LLM研究进行了系统而全面的回顾。我们将文献组织在一个由三个主要类别组成的分类法中，分别从以模型为中心、以数据为中心和以框架为中心的角度涵盖了不同但相互关联的高效LLM主题。我们还创建了一个GitHub存储库，在这里我们汇编了本次调查中的论文https://github.com/aiotmlsys-lab/efficient-llms-survey，并将积极维护该存储库，并在出现新研究时纳入其中。我们希望我们的调查能成为一种宝贵的资源，帮助研究人员和从业者系统地了解高效LLM的研究进展，并激励他们为这一重要而令人兴奋的领域做出贡献。

1 引言

2 模型为中心的方法

3 数据为中心的方法

4 LLM框架

5 结论

在这项调查中，我们对高效LLM进行了系统的回顾，这是旨在使LLM民主化的一个重要研究领域。我们从激发高效LLM的必要性开始。在分类法的指导下，我们分别从以模型为中心和以数据为中心的角度回顾了LLM的算法级和系统级高效技术。此外，我们还回顾了LLM框架，其中包含对高效LLM至关重要的特定优化和功能。我们相信，效率将在LLM和面向LLM的系统中发挥越来越重要的作用。