JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

JetSpec 论文完整解读与双语翻译

论文标题：JETSPEC: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting
arXiv:2606.18394v3，面向LLM投机解码，解决因果性-效率两难问题

一、论文整体核心内容总结

1. 研究背景

自回归大模型逐Token串行解码，推理延迟高；投机解码（Speculative Decoding, SD） 通过草稿预生成+目标模型并行验证加速生成，但存在缩放天花板：草稿预算增大时，仅当接受率高、草稿开销低才能提速，现有两类方案无法同时满足两点：

1. 自回归树形草稿（EAGLE系列）：分支满足因果依赖、接受率高，但树越深串行生成开销越大；
2. 双向分块扩散草稿（DFlash/DDTree）：单次前向生成整块Token，开销极低，但各位置预测无分支因果约束，生成的树分支内部语义矛盾，大量草稿被拒绝，浪费算力。

行业痛点：现有方案只能二选一，无法同时做到低成本并行生成+高因果一致性、高接受率，限制大草稿预算下的加速上限。

2. 核心方案 JetSpec

提出基于因果并行草稿