超级会员免费看
本文详尽探讨了大型语言模型（LLM）中推测解码的原理与应用，以减少推理延迟。通过并行验证多个token来加速解码过程，相较于自回归解码更具效率。文章提供了推测解码的定义、公式，分析关键技术和方法，并通过Spec Bench基准进行了评估。旨在促进对推测解码的进一步研究，提高LLM的推理效率。
本文是LLM系列文章，针对《Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding》的翻译。
摘要
为了减轻大型语言模型（LLM）中自回归解码产生的高推理延迟，推测解码已成为LLM推理的一种新的解码范式。在每个解码步骤中，该方法首先高效地起草几个未来的token，然后并行验证它们。与自回归解码不同，推测解码便于每一步同时解码多个token，从而加速推理。本文对这种有前景的解码范式进行了全面的概述和分析。我们首先提供了推测解码的正式定义和公式。然后，我们就起草人的选择和核查战略等关键方面组织深入讨论。此外，我们还对第三方测试环境下的领先方法进行了比较分析。我们的目标是将这项工作作为进一步研究推测解码的催化剂，最终有助于更有效的LLM推理。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
