
LLM 工作负载拆分:避免 GPU 高成本
通过将大语言模型(LLM)工作负载拆分为提示(prompt)和生成(generation)池,可避免为闲置的 GPU 支付过高费用,这就好比为 AI 开辟专属的快速和慢速车道。
零售商 GPU 难题
去年年底,参与一家全球零售商的容量规划工作。该零售商将 700 亿参数模型集成到产品搜索和推荐管道,每次搜索查询触发推理调用。假期流量高峰时,集群消耗 GPU 时长的速度让云财务团队担忧。虽将 H100 GPU 数量从 24 个扩展到 48 个,但高峰时段延迟仍飙升。问题来了:1 月促销活动是否需要 96 个 GPU,还是有其他问题?
GPU 性能分析
从性能分析入手,对服务层监测并按推理阶段分解利用率数据。分析结果改变对 GPU 基础设施的看法。提示处理阶段,H100 GPU 计算利用率达 92%,张量核心饱和,不过此阶段每个请求仅持续约 200 毫秒。令牌生成阶段持续 3 到 9 秒,GPU 利用率降至 30%,计算核心闲置,内存总线全力读取注意力缓存。我们按 H100 峰值计算能力付费,却只在每个请求约 5%的时间获峰值性能,另外 95%时间是内存带宽问题,却用按计算能力定价的 GPU。
LLM 推理的本质
LLM 推理实际上是两个伪装成一个的工作负载。提示处理(预填充,prefill)是密集矩阵乘法,激活芯片每个核心;令牌生成(解码,decode)是顺序内存读取,只涉及小部分计算。它们在同一硬件同一调度循环中交替进行。此前参与运营商级别的 Kubernetes 集群和高吞吐量数据管道工作,从未见过在如此昂贵硬件上运行这种双峰式工作负载。若以这种方式运行数据库,会毫不犹豫拆分。但多数提供 LLM 服务的团队未意识到这点。
监控工具的问题
监控工具让情况更糟。每个推理仪表盘只报告一个“GPU 利用率”数字,即两个阶段的平均利用率。集群显示为 55%,看似不错,没人会对 55%感到恐慌。但 55% 是几百毫秒内 92%的利用率和几秒内 30%的利用率的平均值,仪表盘用一个数字掩盖了双峰分布。
DistServe 论文与解决方案
加州大学圣地亚哥分校郝人工智能实验室(Hao AI Lab)的研究人员在 2024 年操作系统设计与实现研讨会(OSDI 2024)上发表 DistServe 论文,用分析得出的数据阐述问题。对 H100 GPU 的测量显示相同模式:预填充阶段利用率为 90 - 95%,解码阶段为 20 - 40%。他们还提出解决方案——分离式推理(disaggregated inference),即创建两个池,一个针对计算吞吐量优化用于提示处理,另一个针对内存带宽优化用于令牌生成。前端路由层会在合适时间将请求发送到正确池,并通过快速网络链接传输注意力缓存。
客户的疑虑与实际案例
最初向客户提出方案时,他们持怀疑态度,认为两个池增加运营复杂度,缓存传输协议增加网络依赖。不过,已有实际案例。Perplexity 使用远程直接内存访问(RDMA)进行缓存传输,将生产服务栈构建在分离式推理之上。Meta、领英(LinkedIn)和 Mistral 也在使用。到 2026 年初,英伟达(NVIDIA)发布 Dynamo 编排框架,开源引擎 vLLM 和 SGLang 增加原生分离式服务模式,红帽(Red Hat)和 IBM 研究院开源 llm - d 的 Kubernetes 原生实现。这已成为全球处理 LLM 流量最多的公司采用的默认架构。
概念验证结果
进行为期两周的概念验证,将集群拆分为两个池,8 个 GPU 专门用于提示处理,其余处理令牌生成。未添加新硬件,仅在服务层配置更改并制定路由策略。提示处理池计算利用率始终保持在 90 - 95%。令牌生成池通过批量处理并发解码请求,带宽利用率提高到 70%以上,整体计算效率大致提高一倍,成本相应降低。客户每年在推理 GPU 时长上花费约 200 万美元,拆分后有望削减 60 - 80 万美元,同时在相同延迟目标下处理相同请求量。
延迟表现与适用情况
延迟方面表现出色。整体式设置中,新提示处理会使令牌生成请求停滞,用户观看流式响应会看到文本暂停。拆分后,令牌生成节奏稳定,P99 令牌间延迟完全平稳。不过,并非所有工作负载都适合这种方法。短提示(少于 512 个令牌)且输出短、多轮对话中 80%以上缓存已存在于解码工作节点、GPU 数量少于十几个的情况,可能不适用。但抱怨 GPU 短缺和高额 GPU 账单的团队,通常在企业规模下运行数十到数百个 GPU,利用率浪费每年累计可达数百万美元。
行业现状与建议
行业在 GPU 供应方面投入大量精力,如建设晶圆厂、设计芯片、协商云合同。但关注性能分析数据很重要。若运行整体式 LLM 推理的团队转向分离式服务,有效 GPU 供应量将大致翻倍,无需新芯片。工具就绪,实际案例投入生产,缺少的是通过性能分析让浪费现象显现。建议还未按阶段分解推理利用率的团队本周就去做,在服务层添加按阶段的监测,分别绘制 24 小时内预填充利用率和解码利用率的图表。若两条线差异大,就知道该怎么做,可避免为未使用的计算能力付费。



被折叠的 条评论
为什么被折叠?



