llm-d：面向Kubernetes的高性能分布式LLM推理框架

在生成式AI（GenAI）浪潮中，高效、经济地部署和扩展大型语言模型（LLM）推理服务是企业面临的核心挑战。传统基于Kubernetes的横向扩展（Scale-out）和负载均衡策略在处理独特的LLM推理工作负载时往往力不从心。为此，我们推出了 llm-d —— 一个 Kubernetes原生、高性能的分布式LLM推理框架，旨在为开发者、ML平台团队和IT运维提供一条清晰、高效的规模化服务路径。

为什么需要 llm-d？

LLM推理工作负载与传统应用显著不同：

1. 请求昂贵且差异大： 输入/输出令牌数量（请求“形状”）差异巨大（如RAG长输入短输出 vs 推理短输入长输出），导致实例间负载严重不均衡，引发级联延迟（ITL）问题。

2. 多轮请求依赖缓存： 智能体对话、代码补全等场景需要将请求路由到缓存了先前计算（KV Cache）的特定副本，才能实现数量级的延迟优化。

3. 计算阶段资源需求迥异： 推理分为计算密集型预填充（Prefill）和内存带宽密集型解码（Decode）阶段。将它们耦合在同一实例导致资源利用率低下。

4. 服务质量（QoS）要求多样： 从毫秒级响应的代码补全到小时级容忍的批处理，不同用例对延迟的容忍度和成本敏感度差异巨大。

标准的Kubernetes副本+轮询负载均衡模式无法有效应对这些挑战，造成资源浪费、成本高昂、延迟难以达标。

llm-d 的核心价值：分布式优化 + Kubernetes 原生

llm-d 创造性地将前沿的分布式推理优化技术与Kubernetes的运维优势相结合：