2025_NIPS_Yggdrasil: Bridging Dynamic Speculation and Static Runtime for Latency-Optimal Tree-Ba...

文章主要内容和创新点总结

一、主要内容

本文针对现有投机解码系统中动态推测与静态运行时假设不匹配导致的性能瓶颈，提出了一种 latency-最优的投机解码框架 Yggdrasil。该框架通过算法与运行时执行的协同设计，在支持未修改的大语言模型（LLMs）前提下，实现了高效的树基解码优化。

核心思路包括三方面：一是提出 latency 感知优化目标，基于硬件特性选择最优树结构（深度、宽度、验证范围），而非仅优化平均接受长度（AAL）等代理指标；二是设计等增长树（Equal-Growth Tree, EGT）结构，既保证静态算子形状以兼容编译时图优化，又能根据解码上下文动态调整；三是引入基于阶段的调度机制，通过消除条件分支、重叠依赖计算，降低 CPU-GPU 协同开销。

Yggdrasil 基于开源深度学习编译器 TorchInductor 构建，在 NVIDIA A100、A40 等多种硬件环境，以及 Llama-2-7B/13B 等模型上进行了验证，相较于 SpecInfer、Sequoia、vLLM-Spec 等现有最优基线，最高实现 3.98 倍的加速比。

二、创新点

1. latency 感知的优化目标：突破传统仅优化 AAL 的局限，将 drafting 迭代开销、模型 latency 特性纳入考量，建立更精准的加速比计算模型，实现真实系统运行时间的优化。
2. 等增长树（EGT）结构：通过深度预测、宽度选择、验证宽度剪枝三步贪心决策，构建上下文自适应且兼容编译优化的树结构，解