LLM高效推理新范式！UCLA提出MTAD类推测解码框架，兼顾生成速度与推理质量 | ICLR 2025

关注

原创最新推荐文章于 2026-10-01 10:15:36 发布 1.2k 阅读 AI 写同款· GEO 优化 ›

如何实现大模型推理加速优化？路径有哪些？方法1、LayerNorm需要在每个样本的特征维度上计算均值和标准差，这可能在特征维度非常大时导致较高的计算开销，且LayerNorm可以稳定训练。BatchNorm使用训练时的统计均值和方差数据直接计算，导致较低的推理延迟，但可能导致训练崩溃和较差的性能。提出了一种PRepBN的新方法，通过使用超参数lamda来控制两个归一化层的比例，在训练中逐步用重新参数化的BatchNorm替换LayerNorm。代码实现。阅读详情

大型语言模型（LLM）凭借其强大的生成能力广泛应用于各类人工智能任务，但在推理阶段往往面临计算资源消耗大、推理速度慢、生成质量不稳定等问题。近年来，推测解码（speculative decoding）逐渐兴起，这是一种提升LLM推理效率的技术，它通过一个小的辅助模型预生成若干Token，接着由更大的模型并行验证，能够实现1–2倍的推理加速。然而，这类方法仍然基于单步概率分布进行生成，无法提升生成内容的整体质量与连贯性。

为此，来自加州大学洛杉矶分校的研究者提出了一种多Token辅助解码（Multi-Token Assisted Decoding，MTAD）框架，通过高效的验证策略保持LLM的高质量输出并降低资源占用。

该成果首先证明了一种比传统多项式采样和推测解码更高效、困惑度更低的****多Token联合解码（MTJD, Multi-Token Joint Decoding）方法****。与传统解码方法不同，MTJD 在解码过程中基于多个Token的联合分布生成文本，能够综合考虑Token间的相互影响。

然而，MTJD 时间和空间复杂度随 Token 数量增加而呈指数级增长，导致该方法在实际应用中面临着大量的执行时间和内存压力，限制了其可行性。受推测解码启发，*MTAD框架通过引入小型辅助模型对MTJD进行高效近似，在保证效果的同时提升了LLM的推理速度**。***

MTAD的核心思想主要包括三个部分：

首先，使用辅助模型输出的联合分布来近似大模型的分布，并生成多个候选Token；
其次，利用大模型并行验证这些候选Token，并接受通过验证的最长前缀子序列；
最后，从大模型的分布中额外采样一个 Token，确保每轮至少生成一个 Token，而无需增加额外计算开销。然而，直接从联合分布中生成候选Token仍然不可行。因此，采用束采样（beam sampling）高效生成高概率序列。

通过以上步骤，MTAD显著降低了生成多个Token所需的大模型调用次数，从而实现类似于传统推测解码的LLM推理加速效果。

为了验证MTJD是否能在提升LLM推理速度的同时改善生成质量，研究者在Spider、MTBench 和HumanEval数据集上进行了对比实验。实验结果显示，*在所有设置下，MTJD 均取得了最高的得分和更低的困惑度。*这些结果表明，*MTJD能够提升LLM的生成质量。*

在效率分析方面，MTAD在所有基线方法中表现出最优的时间效率、最低的资源消耗。此外，当MTAD只使用单个候选序列（draft sequence）时，其性能仍优于使用多个候选序列的方法(Spectr、MCSS、SpecInfer)。这些方法通常在遇到某个Token被拒绝后就立即终止验证，*而MTAD则继续验证后续 Token，尝试寻找仍可能通过验证的部分。*这种机制使得MTAD*在每次迭代中能够接受更长的有效序列*，从而提升了整体效率。

在不同解码算法的下游任务性能比较中，MTAD与仅依赖单Token分布的传统解码方法相比，始终展现出最优的生成质量。此外，可以发现有损解码算法可以在牺牲一定推理效率的前提下实现更高的下游性能。这表明，所有有损解码方法都可以通过调整验证的严格程度，在效率与生成质量之间进行灵活权衡。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述