Accelerating LLM Inference with Staged Speculative Decoding

本文是LLM系列文章，针对《Accelerating LLM Inference with Staged Speculative Decoding》的翻译。

摘要

大型语言模型（LLM）的最新进展说明了它们的多样性。我们提出了一种新的算法，分阶段推测解码，以加速小批量设备场景中的LLM推理。我们通过改进先前在推测解码中的工作来解决小批量推理的低算术强度问题。首先，我们将推测批次重组为树，这降低了生成成本，并增加了每个批次的预期代币。其次，我们增加了推测解码的第二阶段。总之，我们使用762M参数GPT-2L模型将单批解码延迟减少了3.16x，同时完美地保持了输出质量。

1 引言

2 背景

3 方法

4 结果

5 结论

在这项工作中，我们描述并实现了对先前推测解码工作的几项改进。首先，我们将提供给oracle模型的批重新构造为树，以降低生成成本并增加每个批的预期token数量。其次，我们增加了第二阶段的推测，以加快对模型草案的解码。总的来说，我们实现了比标准单批推理平均3.16倍的加速。