FlowSpec: Continuous Pipelined Speculative Decoding for Efficient Distributed LLM Inference

文章主要内容和创新点

主要内容

本文针对边缘环境下大型语言模型（LLMs）分布式推理的挑战，提出了一种基于流水线并行的树结构投机解码框架FlowSpec。该框架旨在解决边缘设备内存有限、计算能力受限，以及稀疏请求场景下流水线利用率低的问题。

FlowSpec通过将LLM分割到多个设备进行流水线并行推理，并结合投机解码（生成多个草稿token并并行验证），实现了高效的分布式推理。其核心流程包括初始化阶段（生成草稿树并分割为段送入流水线）和连续投机解码阶段（动态修剪无效草稿token、扩展草稿树以维持流水线连续性）。实验结果显示，在多种模型（如LLaMA2-Chat、Vicuna-v1.3）和任务（多轮对话、代码生成等）中，FlowSpec相比基线方法（Naive PP、PipeDec）实现了1.36×-1.77×的推理加速。

创新点

1. 基于分数的逐步验证：通过草稿模型的置信度分数对草稿token排序，优先验证高分token，加速token接受过程，同时确保token间的因果关系。
2. 高效草稿管理：动态修剪无效token及其键值缓存（KV cache），在分布式设备间协同维护有效草稿分支，减少冗余计算和内存占用。
3. 动态草稿扩展策略：根据