使用vllm创建相同模型的多个实例，使用nginx进行负载均衡，提高模型吞吐量

已于 2025-07-25 14:34:53 修改
阅读量485 收藏 10
点赞数 12
CC 4.0 BY-SA版权
文章标签： nginx 负载均衡 语言模型
于 2025-07-25 14:17:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/GhostintheCode/article/details/149629624

背景

要提高vllm部署的大模型吞吐量，可以从显存利用率优化、多实例部署、参数调优和流程优化等多个维度入手，以下是具体建议：

一、提高 gpu-memory-utilization 的效果与操作

gpu-memory-utilization 控制vllm预分配的GPU内存比例（默认0.9），当前值0.35预留了过多显存，是吞吐量低的重要原因。

  • 提升空间：合理提高该值可显著增加批处理能力。例如从0.35提升到0.7-0.8（需根据实际显存占用测试），理论上能将单次批处理量提升1-2倍（具体取决于模型大小）。
  • 操作建议：
    1. 先逐步提高至0.6，测试是否出现OOM（内存溢出）错误：
      CUDA_VISIBLE_DEVICES=1 python -m vllm.entrypoints.openai.api_server \
  --model /home/liuzhiming/.../dir \
  --port 18889 \
  --tensor-parallel-size 1 \
  --max-num-batched-tokens 16384  # 同步增大批处理token上限 \
  --max-num-seqs 512  # 同步增大序列数上限 \
  --gpu-memory-utilization 0.6
最低0.47元/天 解锁文章

200万优质内容无限畅学
AI人工智能的SGLang、vllm和YaRN大语言模型服务框架引擎的对比
没刮胡子的程序员专栏
05-20 323
SGLang、vLLM和YaRN是三种适用于大语言模型（LLMs）的技术框架，各自在特定场景中表现出色。SGLang专为多模态任务设计，通过优化前后端语言协同，提升交互速度和可控性，适用于图像生成、视频处理及低延迟应用。vLLM专注于大规模模型推理优化，采用动态调度和PagedAttention内存管理，支持高并发和分布式部署，适合企业级API服务。YaRN则通过扩展上下文窗口，提升模型处理长文本的能力，适用于文档摘要、机器翻译等任务。示例代码展示了如何分别使用这些框架进行图像生成、文本推理和上下文扩展，并
vLLM 部署指南：Python 服务化大语言模型的最佳实践
Python编程之道的博客
06-20 292
本指南系统阐述基于vLLM的大语言模型（LLM）服务化部署的全流程最佳实践，覆盖从基础概念到生产级落地的核心环节。通过解析vLLM的核心技术（如PagedAttention、连续批处理）、架构设计、性能优化策略及实际部署挑战，为开发者提供从理论到实践的完整技术路径。内容适配入门级（理解vLLM价值）、中级（掌握部署配置）及专家级（优化定制）多维度需求，附生产级代码示例、可视化架构图及真实案例分析。性能：如何平衡吞吐量（QPS）与延迟（Latency）？资源管理：多租户场景下如何分配GPU显存？可靠性。
Nginx × vLLM 高效联动实践：多模型推理的负载均衡与调度优化策略
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-08 1704
在多模型部署与并发推理成为主流需求的背景下，如何构建一套高可用、可扩展、具备流量调控能力的大模型服务入口，已成为工程落地中的关键挑战。Nginx 作为稳定成熟的高性能 Web 网关，在与 vLLM 结合时，不仅可以承担统一入口、动态路由与多实例负载均衡职责，还能通过多路转发、探活检测、熔断机制等能力，有效缓解大模型推理系统的热点压力与故障风险。本文基于企业实战部署经验，系统拆解 vLLM 多实例推理服务在 Nginx 支撑下的部署结构、请求调度策略与运行表现，提供一套可复用、可观测、可维护的大模型服务路由优
vLLM 多实例部署 + Nginx 高并发流量控制架构设计实战
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-16 1141
本文将围绕企业级落地场景，系统设计并实战构建一套 **“vLLM 多实例部署 + Nginx 网关调度 + 流量控制”** 架构方案，解决： > > - ✅ 多实例部署架构：GPU 负载均衡 × 进程隔离 × 高可用能力 > - ✅ Nginx 网关限流：流式响应稳定性 × API 扩展性 × 并发保护 > - ✅ 请求调度策略：Round-Robin / Sticky / 权重分配 / 动态容量追踪 > - ✅ 系统优化方案：Timeout 设计、健康探针、GPU 利用率追踪
【大模型实战】大模型推理加速框架 vllm 部署的方案
shuizhudan223的博客
04-24 1303
在大语言模型（LLM）落地应用中，推理效率是决定系统性能的关键因素。vllm 作为一款专为 LLM 设计的高性能推理框架，通过 PagedAttention、动态批处理等技术，实现了显存利用率和吞吐量的显著提升。本文结合实际工程经验，详细解析 vllm 的核心技术原理、部署流程及优化策略，提供从环境搭建到生产级服务的全链路实战方案，帮助开发者快速构建高效的大模型推理系统。随着 Llama-2、ChatGLM-3 等大模型的广泛应用，推理阶段面临三大核心挑战：vllm（vLLM: Easy, Fast, an
使用 Nginx 对 LLM 服务进行负载均衡实践
Michael是个半路程序员
03-03 991
nginx是一款开源的、高性能的 Web 服务器，同时也广泛用作 反向代理服务器、负载均衡器 和 HTTP 缓存。它的设计目标是解决传统服务器（如 Apache）在高并发场景下的性能瓶颈，现已成为全球最流行的 Web 服务器之一。高性能：基于事件驱动的异步架构，单机支持数万并发连接。轻量级：内存占用低，配置简单。算法灵活：轮询（Round Robin）、加权轮询（Weighted）、IP Hash、最少连接（Least Connections）等。
高并发大模型推理服务中的动态实例池构建与资源感知调度策略实战
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-08 916
在企业级大模型推理系统中，随着并发用户数量激增和多模型服务场景的拓展，构建具备动态伸缩能力的模型实例池成为推理服务架构的核心挑战。推理请求在运行时具有上下文长度差异大、Streaming 生命周期不定、资源消耗波动剧烈等特点，要求系统不仅能动态调配模型 Worker，还需具备资源感知、并发队列优先级调度、任务热切换等能力。本文基于 vLLM 推理框架与实际生产部署经验，深入剖析动态实例池的核心组件设计、GPU 占用感知路由策略、调度器的并发处理机制以及多 Worker 架构下的异常隔离与健康管理方法，提供一
【AI部署】Ollama与vLLM深度对比：大模型部署框架的技术演进与实践指南
Arbboter的专栏
03-23 1580
在人工智能技术快速发展的当下，大语言模型（LLM）的本地化部署与生产级应用已成为开发者关注的焦点。Ollama和vLLM作为两大主流框架，分别代表了轻量化部署与高性能推理的技术路线。本文将从技术架构、性能指标、适用场景等维度展开系统性对比，为开发者提供框架选型与落地实践的全面参考。
企业级大模型架构设计全景指南：从单模型到多模型体系
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-13 955
在大模型全面进入企业级应用场景的今天，架构层面已从早期“单模型部署”快速演化为“多模型协同体系”的系统化建设需求。单一模型封装难以支撑复杂业务的能力差异、多任务适配与高并发调度，而企业则面临模型泛滥、接口割裂、资源浪费、治理缺失等结构性挑战。本文将从架构师视角出发，系统拆解企业级大模型架构的演进路径，覆盖单模型部署结构、多模型平台化建设、模型注册与调度机制、统一 API 管理接口、异构模型治理逻辑等核心模块，助力技术团队构建具备可扩展性、可治理性与高弹性的智能模型服务平台。
【VLLM模型负载均衡术】：提升系统并发处理能力的关键
![【VLLM模型负载均衡术】：提升系统并发处理能力的关键](https://substackcdn.com/image/fetch/w_1200,h_600,c_fill,f_jpg,q_auto:good,fl_progressive:...在信息技术高速发展的今天，传统的负载均衡模型已经不能完全
八、大模型私有化部署 - FastChat
weixin_43674738的博客
04-21 912
fastchat 私有化部署大模型
分布式电商系统：缓存策略、负载均衡与容灾方案
subuq的博客
07-23 789
分布式电商系统的稳定运行依赖于缓存策略、负载均衡与容灾方案的深度融合。缓存策略通过 “以空间换时间” 提升响应速度，负载均衡通过 “合理分配资源” 避免单点瓶颈，容灾方案通过 “未雨绸缪” 降低故障影响。三者共同构建了分布式架构的 “稳定三角”，既能支撑日常千万级订单的平稳处理，也能应对大促期间亿级流量的冲击。在实际落地中，需结合业务场景持续迭代优化，才能在用户体验与系统成本之间找到最优解，为电商业务的持续增长提供坚实的技术支撑。
Java-78 深入浅出 RPC Dubbo 负载均衡全解析：策略、配置与自定义实现实战
永远好奇，无限进步！
07-21 943
Dubbo支持高效的异步调用机制，适用于响应慢、需并行处理的场景。通过设置 <dubbo:method async="true"/> 和 RpcContext.getFuture() 获取结果，可提升系统吞吐量。需注意异步状态传递问题，在2.5.4前存在异步标志错误传播的Bug，建议升级版本。Dubbo默认提供固定线程池与缓存线程池，分别适合稳定与波动负载场景。为满足实际业务需求，可自定义线程池如 WzkWatchingThreadPool，实现线程池使用率监控与预警。结合SPI机制配置并启用新线程池。
IO密集型、CPU密集型、负载、负载均衡
最新发布
vaeseven9的博客
07-24 365
高负载会导致系统响应延迟、性能下降甚至崩溃因此通过【负载均衡Load Balance】和容量规划来避免过载负载均衡：是一种将工作负载（例如网络流量、数据请求、计算任务等）分配到多个计算资源（例如服务器、虚拟机、容器等）的技术主要目的：优化性能、提高可靠性以及增加可扩展性在工作环境中，负载均衡器通常为与应用程序的前端，接受并分配传入的请求，通过算法确定分配请求的最佳方式，从而防止任何一个资源过载或失效导致应用程序的性能下降或停止响应。
破解哈希极化：基于主动路径规划的智算网络负载均衡方案
asterfusion的博客
07-21 799
智算集群对网络性能，特别是高吞吐、低延迟和无损特性有着严苛要求，RoCE因此被广泛应用。然而，在主流Clos组网架构下，传统的ECMP路由机制存在天然的局限性，容易引发哈希极化问题，成为制约集群整体性能的瓶颈。本文将探讨哈希极化的成因、影响，并介绍一种通过主动路径规划（PPD）来优化网络配置、提升性能的解决方案。
SpringCloudGateWay 使用nacos网关自动负载均衡
frt的博客
07-23 487
写一个配置类，添加@Configuration注解，在配置类中添加一个路由，在后端添加一个header，response添加一个返回header。applocation.yaml设定nacos地址启动loadbalance。项目启动后在nacos查看到网关服务和后端服务。，header中有666 成功！依赖，pom.xml参考。
华为云ELB（弹性负载均衡）持续报异常
张晨光老师的播客
07-23 985
华为云ELB（弹性负载均衡）持续报异常，需结合实例类型（共享型/独享型）和异常代码进行针对性排查。若仍无法解决，建议提交华为云工单，提供ELB配置截图、健康检查结果及访问日志[
【Spring Cloud Gateway 实战系列】基础篇：路由、断言、过滤器、负载均衡深度解析
一个i人的自我救赎
07-23 876
在微服务架构中，API 网关是流量的统一入口，承担着路由转发、流量管控、安全防护等核心职责。Spring Cloud Gateway 作为 Spring 官方推荐的第二代网关，基于 Spring 5.0、Spring Boot 2.0 和 Project Reactor 构建，提供了高性能的响应式编程模型和丰富的扩展能力。本文将从基础入手，深入讲解路由、断言、过滤器、负载均衡及与 Nacos 的集成，帮助读者快速掌握 Gateway 的核心技术。
vLLM是否支持多机部署
02-25
<think>好的，用户问vLLM是否支持多机部署。我需要先回顾一下之前的对话历史。之前用户问了关于vLLM的API密钥获取，我解释了vLLM是开源的，没有官方API密钥，并提供了不同场景下的解决方法。现在用户的问题转向了多机部署，也就是分布式部署的能力。 首先，我需要确定vLLM的官方文档是否有提到多机部署的支持。根据我了解，vLLM主要专注于高效推理，利用PagedAttention等技术优化显存使用。在分布式训练或推理方面，可能主要支持单机多卡，比如通过Tensor Parallelism（TP）在多个GPU上并行处理。但多机部署是否支持呢？可能需要进一步查证。 接下来，用户可能的场景是什么？他们可能在尝试部署更大的模型，需要跨多台机器扩展资源。比如，当单台机器的GPU不足以容纳模型时，或者需要更高的吞吐量。这时候多机部署就成了必要。用户可能是开发者或运维人员，负责部署和维护大模型服务，需要了解vLLM的能力限制。 我需要检查vLLM的最新版本是否支持多机。查阅资料发现，截至2023年10月，vLLM官方主要支持单机多卡，通过TP进行模型并行。对于多机部署，可能需要结合其他技术，比如Ray这样的分布式框架，或者使用Kubernetes进行集群管理。但这是否是官方支持的呢？ 另外，用户可能对分布式部署的具体方法感兴趣，比如是否需要修改代码，或者是否有内置的支持。比如，是否像DeepSpeed那样有明确的配置参数，或者需要自行处理网络通信和负载均衡。 同时，我需要考虑用户可能的误解，比如是否将模型并行与数据并行混淆。或者他们是否在问推理时的横向扩展，比如多个实例负载均衡，而不是真正的多机模型并行。 回答时需要明确vLLM的官方支持情况，同时提供可能的解决方案或变通方法，比如使用API网关进行负载均衡，或者结合Ray集群。还要指出当前版本的局限性，以及社区是否有相关的实验性项目。 最后，确保语言简洁，结构清晰，分点说明是否支持、现有方案、替代方法以及注意事项，并给出总结建议。这样用户可以根据自己的情况选择适合的部署策略。</think>vLLM **目前（截至2024年7月）尚未原生支持多机分布式部署**，但其设计支持单机多卡并行推理，并可通过第三方工具或定制方案实现多机扩展。以下是不同层面的详细分析： --- ### **1. 官方支持能力** - **单机多卡**：vLLM 原生支持**单机内多GPU并行**（通过 Tensor Parallelism），例如将大模型拆分到同一台机器的多个 GPU 上运行。 - **多机部署**：官方文档未明确支持跨多台机器的分布式部署（即模型参数或计算任务分布到不同物理机器）。其核心优化集中在单机推理效率（如 PagedAttention 显存管理）。 --- ### **2. 多机扩展的替代方案** 若需实现多机部署，可通过以下方式间接实现： #### **方案 1：API 网关 + 多实例负载均衡** - **原理**：在多台机器上独立部署 vLLM 实例，通过负载均衡器（如 Nginx、HAProxy）或 API 网关（如 Kong）分发请求。 - **适用场景**：**高并发推理服务**，模型可单机加载，通过横向扩展实例提升吞吐量。 - **示例架构**： ```plaintext 客户端 → 负载均衡器 → [vLLM实例1 (机器A)] → [vLLM实例2 (机器B)] → [vLLM实例3 (机器C)] ``` #### **方案 2：Ray 集群（实验性）** - **原理**：利用分布式计算框架 [Ray](https://www.ray.io/) 的集群能力，将 vLLM 的 Worker 分布到多台机器（需定制代码）。 - **步骤**： 1. 启动 Ray 集群（多台机器共享网络和存储）。 2. 将模型加载到 Ray 的分布式对象存储中。 3. 通过 Ray Actor 或 Task 调度多机推理任务。 - **代码片段**： ```python import ray from vllm import LLM @ray.remote(num_gpus=1) class VLLMWorker: def __init__(self, model_name): self.llm = LLM(model=model_name) def generate(self, prompt): return self.llm.generate(prompt) # 启动多机 Worker ray.init(address="auto") # 连接到 Ray 集群 workers = [VLLMWorker.remote("meta-llama/Llama-3-70b") for _ in range(4)] # 4台机器 results = ray.get([worker.generate.remote("Hello") for worker in workers]) ``` #### **方案 3：Kubernetes 部署** - **原理**：通过 Kubernetes 编排多台机器的 vLLM 实例，结合 Service 和 Ingress 管理流量。 - **适用场景**：生产级容器化部署，支持自动扩缩容和故障恢复。 --- ### **3. 多机部署的挑战** - **模型并行限制**：vLLM 的 Tensor Parallelism 仅限单机，跨机器需自行实现网络通信（如使用 NCCL 或 gRPC）。 - **显存与通信开销**：多机间同步模型参数或中间结果可能导致显著延迟。 - **一致性保障**：需处理分布式系统的容错、状态同步等问题。 --- ### **4. 未来可能性** vLLM 团队已在路线图中提及对 **多机推理** 的探索（如通过 [vLLM Issue #1187](https://github.com/vllm-project/vllm/issues/1187)），可能在未来版本中提供更便捷的支持。 --- ### **总结建议** - **单机足够时**：优先使用单机多卡（如 8×A100），最大化 vLLM 的显存优化优势。 - **需多机扩展时**： - 短期方案：通过负载均衡部署多实例。 - 长期方案：关注 vLLM 官方更新或结合 Ray/Kubernetes 定制分布式逻辑。 - **超大模型场景**：考虑混合使用 vLLM（推理）与 DeepSpeed/ Megatron-LM（分布式训练框架）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值