大模型的解码加速算法

    在前文内容已经介绍了多种解码算法。然而在实现过程中，由于自回归算法的序列化生成特点，使得解码算法存在效率较低的问题。在本文中，我们将首先定量分析解码算法的效率，再介绍针对性的效率优化算法。

解码效率分析

    本文将首先介绍解码的两个阶段（即全量解码和增量解码），然后对这两个阶段分别进行效率分析，从而发现解码过程中的效率瓶颈所在。以下分析基于现有工作。

    在前文中我们已经展示了原始的自回归解码流程，如算法所示。具体来说，观察循环内相邻的两次前向传播过程，需要进行𝑃=M(𝒖)和𝑃′=M(𝒖⊕[𝑢′])两次计算。根据公式所示，这两次前向传播的具体计算操作为：𝑸=𝑿𝑾𝑄和𝑸′ = [𝑿 ⊕ [𝑢′]]𝑾𝑄 = 𝑿𝑾𝑄 ⊕ [𝑢′]𝑾𝑄，可以发现后者相比前者只需要额外计算一次新生成词