Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding

本文是LLM系列文章，针对《Generation Meets Verification: Accelerating Large Language Model
Inference with Smart Parallel Auto Correct Decoding》的翻译。

摘要

本研究旨在加快具有数十亿参数的大型语言模型（LLM）的推理速度。我们提出了一种用于实现LLM无损加速的智能并行自动校正dEcoding（SPACE）方法。通过集成半自动推理和推测解码功能，SPACE独特地使自回归LLM能够并行化token生成和验证。这是通过专门的半自回归监督微调过程实现的，该过程使现有LLM具备同时预测多个token的能力。此外，自校正解码算法有助于在单个模型调用内同时生成和验证token序列。通过对一系列LLM的广泛实验，SPACE在HumanEval-X上展示了2.7x-4.0x的推理加速，同时保持了输出质量。代码发布于https://github.com/cteant/SPACE。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们介绍了SPACE，这是一种加速LLM推理的创新方法。SPACE的区别在于：1）它能够利用SAR-SFT将AR LLM转换为SAR LLM，这很容易