Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vL...

文章主要内容与创新点总结

一、主要内容

本文针对大语言模型（LLM）生产部署中核心的推理服务系统选型问题，对两款主流开源框架vLLM和HuggingFace TGI进行了全面的实证评估。研究基于LLaMA-2系列（7B、13B、70B参数）模型，在NVIDIA A100 GPU硬件环境下，从吞吐量、延迟、GPU内存利用率、可扩展性等多维度，结合低/中/高并发等真实部署场景展开基准测试。

核心发现包括：

1. 吞吐量：vLLM凭借PagedAttention机制，在高并发场景下吞吐量比TGI高2-24倍，且随并发量线性扩展能力更强；TGI在并发量超过50后易出现吞吐量饱和。
2. 延迟：TGI在低百分位（p50）的首次令牌生成时间（TTFT）更短（低1.3-2倍），适合交互式场景；vLLM的总延迟和尾部延迟（p95、p99）更优，单令牌生成时间（TPOT）更低。
3. 资源利用率：vLLM通过消除内存碎片，GPU内存消耗比TGI低19-27%，GPU利用率达85-92%，显著高于TGI的68-74%。
4. 适用场景：vLLM适合高吞吐量批处理、高并发多租户服务、内存受限场景；TGI适合低延迟交互式应用、SLA约束服务、需量化部署或依赖HuggingFace生态的场景。

此外，文章还对比了两款框架的架构差异（内存管理、批处理策略、内核优化），并提出混合部署策略（按请求类型路由、分时切换、按模型大小选择），同时指出了研究在模型多样