TD-Pipe: Temporally-Disaggregated Pipeline Parallelism Architecture for High-Throughput LLM

论文主要内容总结

研究背景与问题

• 随着大语言模型（LLM）规模不断扩大，流水线并行因其低通信需求，在面向吞吐量的LLM推理中展现出巨大潜力。
• 但预填充（prefill）和解码（decode）阶段的工作负载不平衡，以及复杂的数据依赖，会导致大量流水线气泡，严重降低性能。
• 现有方法如张量并行（Tensor Parallelism）存在高频通信开销，传统流水线并行则受限于气泡问题，而混合批处理与分块预填充虽有优化，但仍面临数据依赖和内存开销问题。

核心方法与架构

• TD-Pipe架构：通过时间维度分解预填充和解码阶段，减少阶段切换频率，维持各阶段内的负载平衡，解决数据依赖问题。
• 层次控制器结构：将调度与执行解耦，分为集中式引擎（控制平面）和分布式运行时（执行平面），实现设备的异步协调。
• AI驱动的贪婪预填充：通过预测输出长度和模拟内存使用，延迟预填充到解码的切换时机，在固定内存容量内执行更多预填充。
• 批间工作窃取：动态平衡解码阶段各批次的工作负载，减少因请求随机完成导致的气泡。
• 时空强度比较