2025_NIPS_Fast Inference for Augmented Large Language Models

文章总结与翻译

一、主要内容

本文针对增强型大型语言模型（Augmented Large Language Models, LLMs）的推理延迟问题，提出了一种名为MARS（Memory- and API- Rooted Scheduler）的新型推理框架。增强型LLMs通过API调用整合外部数据源扩展能力，但传统调度算法因无法适配API调用带来的执行时间与令牌规模脱节、内存管理复杂等问题，导致请求完成时间延长。

MARS的核心解决方案包含两大步骤：

1. 处理策略分配：通过预测API调用前的输出规模和API调用时长，提前为每个请求分配最优的内存处理策略（Preserve、Discard and Recompute、Swap），减少内存浪费；
2. 内存感知调度：基于请求全生命周期的预测总内存消耗进行排序调度，并加入饥饿预防机制避免长尾延迟，同时兼容API增强型请求与非API请求的混合负载。

实验基于vLLM实现MARS，在单API、多API和ToolBench数据集上，对比INFERCEPT和原生vLLM，实现了27%-85%的端到端延迟降低和4%-96%的首次令牌生成时间（TTFT）缩短，且支持多GPU部署（如Llama 70B模型）。

二、创新点