A Hybrid Early-Exit Algorithm for Large Language Models Based on Space Alignment Decoding (SPADE)

文章主要内容总结

本文针对大型语言模型（LLMs）因深层结构导致的高推理成本问题，提出了一种基于空间对齐解码的混合早期退出算法SPADE-EXIT。

现有早期退出算法通过在中间层终止计算降低成本，但因中间层与输出层的表示空间不对齐，解码准确性较差。为解决这一问题，研究提出：

1. SPADE（空间对齐解码）：通过传播仅包含起始token（<s>）和答案token（<a>）的最小序列，将中间层表示与输出层表示对齐，无需依赖线性变换，提升解码准确性；
2. L-SPADE：SPADE的线性近似，通过训练线性映射来逼近SPADE的输出，高效计算基于熵的置信度指标，用于早期退出决策，且训练的线性变换可跨数据集泛化，降低训练成本；
3. SPADE-EXIT：结合SPADE和L-SPADE的混合机制，通过L-SPADE监控中间层的置信度，当达到阈值时终止推理，再用SPADE生成高质量输出，在显著降低推理成本的同时保持准确性。

创新点

1. SPADE解码机制：无需线性变换，通过传播最小序列（起始token+答案token）自然对齐中间层与输出层的表示空间，解决了现有线性解码方法无法捕捉后期层非线形处理的缺陷；
2. L-SPADE的高效性与泛化性：作为SPADE的线性近似，既能快速计算置信度以支持早期退出决策，又可跨数据