A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models

本文是LLM系列文章，针对《A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models》的翻译。

摘要

尽管在大型语言模型 （LLM） 中加速文本生成对于高效生成内容至关重要，但此过程的连续性通常会导致高推理延迟，从而给实时应用程序带来挑战。已经提出和开发了各种技术来应对这些挑战并提高效率。本文对自回归语言模型中的加速生成技术进行了全面调查，旨在了解最先进的方法及其应用。我们将这些技术分为几个关键领域：推测解码、早期退出机制和非自回归方法。我们讨论了每个类别的基本原则、优势、局限性和最新进展。通过这项调查，我们旨在提供对 LLM 技术现状的见解，并为自然语言处理这一关键领域的未来研究方向提供指导。

1 引言

2 推测解码

3 早退

4 非自回归模型

5 讨论和局限性

6 结论

本调查论文探讨了旨在减少与 LLM 推理相关的延迟的加速生成算法。我们探索了各种策略，这些策略可实现并行或更高效的token生成，以加快解码过程，同时保持生成输出的质量。我们的调查包