本文是LLM系列文章,针对《Accelerating LLM Inference with Staged Speculative Decoding》的翻译。
摘要
大型语言模型(LLM)的最新进展说明了它们的多样性。我们提出了一种新的算法,分阶段推测解码,以加速小批量设备场景中的LLM推理。我们通过改进先前在推测解码中的工作来解决小批量推理的低算术强度问题。首先,我们将推测批次重组为树,这降低了生成成本,并增加了每个批次的预期代币。其次,我们增加了推测解码的第二阶段。总之,我们使用762M参数GPT-2L模型将单批解码延迟减少了3.16x,同时完美地保持了输出质量。
1 引言