生产环境H200部署DeepSeek 671B 满血版全流程实战（四）：vLLM 与 SGLang 的性能大比拼

最新推荐文章于 2025-04-11 10:14:43 发布
最新推荐文章于 2025-04-11 10:14:43 发布
阅读量1.5k 收藏 24
点赞数 32
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nulifancuoAI/article/details/146260644
版权

前言

经过前三篇文章的铺垫：

生产环境H200部署DeepSeek 671B 满血版全流程实战（一）：系统初始化

生产环境H200部署DeepSeek 671B 满血版全流程实战（二）：vLLM 安装详解

生产环境H200部署DeepSeek 671B 满血版全流程实战（三）：SGLang 安装详解

相信大家已经成功在 H200 服务器上搭建起了 DeepSeek 671B 的运行环境。但一个新的问题也随之而来：vLLM和SGLang这两款推理引擎在实际性能表现上究竟有何差异？如何根据具体的业务需求在它们之间做出最佳选择？本篇我们将使用 EvalScope 基准测试工具， 对 vLLM 和 SGLang 进行全方位、 多角度的性能压测。

一、EvalScope

1.1 简介

EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架，内置多个常用测试基准和评测指标，如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等；支持多种类型的模型评测ÿ

最低0.47元/天 解锁文章
努力犯错
关注
AI智算-DeepSeek-r1:671b性能压测&H100
Kason_iWiki
02-23 1741
继上次结合K8s、SGLang、LWS 等技术栈，完成分布式 DeepSeek-r1 推理集群的部署后，经过几天的实际使用，发现当并发数达到一定阈值时，性能出现下降。为进一步评估和优化集群性能，现对已部署的 DeepSeek-r1 推理集群进行深入的性能压测。选型LLM 性能压测工具经过调研，选择 推理引擎 SGLang 自带的基准测试工具，以及Locust和EvalScope两款成熟的性能测试工具，进行全面的性能评估。官网地址：https://locust.io。
SGlang 专为大模型设计的高效服务框架
kcarly的专栏
02-05 2600
SGlang 是一种高效、灵活且功能强大的服务框架，适用于开发和部署大型语言模型及视觉语言模型。它通过优化后端运行时和前端语言，显著提升了推理速度和灵活性，同时支持多模态输入和复杂的提示任务。无论是开发者还是企业用户，都可以借助 SGlang 实现高效、可控的模型应用开发。
vLLM vs SGLang：大模型推理框架，谁更适合你的需求？
m0_48891301的博客
03-22 2431
总体而言，vLLM 在模型支持和应用生态方面具有优势，而 SGLang 在推理性能优化表现相对出色。目前vLLM和SGLang的代码库已开始互相借鉴（如vLLM计划引入RadixAttention），但短期内仍是差异化竞争。
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。
热门推荐
扶着老奶奶闯红灯
01-23 1万+
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM 3，InternLM 2， Llama 3.2等。
SGLang vs vLLM：大模型推理引擎的全面对比
随笔记录-分享&记忆
03-01 5994
维度SGLangvLLM核心能力多轮对话、结构化输出、复杂任务优化高吞吐单轮推理、内存高效管理技术亮点RadixAttention、编译器式设计适用模型通用 LLM/VLM（如 LLaMA、DeepSeek）超大规模 LLM（如 GPT-4、Mixtral）开发门槛较高（需定制前端 DSL）较低（开箱即用）最终结论如果你追求灵活性和复杂任务支持，选SGLang。如果你追求极致的吞吐量和快速部署，选vLLM。
生产环境H200部署DeepSeek 671B 满血版全流程实战（一）：系统初始化
nulifancuoAI的博客
03-10 1404
NVIDIA H200凭借其141GB超大显存和高速NVLink技术，成为部署DeepSeek 671B 满血版的理想选择。然而，“工欲善其事，必先利其器”——在正式运行模型前，一套稳定、高效的服务器环境是成功的关键。许多开发者在部署大模型时，常因忽略系统配置细节（如驱动冲突、环境变量错误、多GPU通信异常）而踩坑。为此，本系列教程将从最基础的系统初始化开始，逐步拆解单机H200服务器部署DeepSeek 671B 满血版的完整链路，从零搭建高性能推理服务。
生产环境H200部署DeepSeek 671B 满血版全流程实战（二）：vLLM 安装详解
nulifancuoAI的博客
03-11 1634
在上一篇文章，我们完成了H200服务器的系统初始化工作，包括驱动安装和CUDA环境配置，为DeepSeek 671B模型的部署奠定了基础。然而，面对单机8卡H200的141GB显存和NVLink高速互联的硬件资源，如何高效利用这些资源实现千亿参数大模型的推理加速，成为关键挑战。vLLM 作为一款高性能推理引擎，能够极大提升 DeepSeek 671B 模型在推理阶段的表现，使模型能够更快速、更准确地生成结果，满足生产环境中对实时性和高吞吐量的严苛要求。
SGLang Runtime v0.2伯克利新AI推理引擎，出手即王炸，吊打TRT-LLM、vLLM！贾扬清点赞
强化学习曾小健
07-28 3040
SGLang是一种大语言模型和视觉语言模型的服务框架。它基于并改进了多个开源LLM服务引擎的优秀设计，包括LightLLM[4]、vLLM[5]和Guidance[6]。它利用了FlashInfer[7]的高性能注意力CUDA内核，并集成了受gpt-fast[8]启发的torch.compile。此外，我们还引入了如RadixAttention[9]自动KV缓存重用和压缩状态机[10]用于快速受限解码等创新。SGLang以其高效的批量调度器[11]而著称，完全用Python实现。
H200部署DeepSeek R1，SGLang调优性能提升2倍，每秒狂飙4000+ Tokens
nulifancuoAI的博客
03-15 1665
对于大多数生产环境， SGLang2（启用 --enable-dp-attention）可能是在性能和稳定性之间取得最佳平衡的选择。您可以根据实际应用场景和资源情况， 选择最合适的 SGLang 参数配置。
企业级AI部署实战：DeepSeek-R1 671B模型分布式集群推理，性能拉满！
淘小欣的博客
03-14 1632
企业级AI部署实战：结合vLLM和Ray技术，高效部署DeepSeek-R1 671B模型的分布式推理集群，提供完整的部署流程和解决方案。
大语言模型引擎全解析：Transformers、vLLM、Llama.cpp等，最佳选择全攻略！
2401_85343303的博客
03-02 1270
Transformers 引擎：NLP 领域的瑞士军刀开发者特点: Transformers 是当今最流行的开源 NLP 库，支持数百种预训练模型（如 GPT、BERT、T5 等），并提供了从模型加载、微调到推理的全套工具。优势支持 PyTorch 和 TensorFlow，兼容性强。社区活跃，模型库丰富，文档完善。适用于从研究到生产的各种 NLP 任务。适用场景: 如果你需要快速实现文本分类、生成、翻译等任务，Transformers 是你的不二之选。吸引点。
SGLang、LMDeploy、vLLM、Ollama 集成部署DeepSeek系列模型
最新发布
weixin_44733966的博客
04-11 1817
DeepSeek作为当前领先的开源大模型体系，其V3和R1系列模型凭借强大的自然语言处理能力和灵活的架构设计，已成为企业智能化转型的重要基础设施。
解锁大模型潜力：vLLM 集群部署 满血DeepSeek R1 671B大模型实战指南
m0_59163425的博客
02-25 5239
导语： 大模型时代，如何高效部署和推理成为关键挑战。DeepSeek 是一个专注于中文理解和生成的大模型系列，涵盖了文本分类、情感分析、机器翻译、文本摘要等多个任务。其强大的语义理解和生成能力，为各种自然语言处理应用提供了有力支持。本文将带你深入探索 vLLM 集群部署 DeepSeek 大模型的实战技巧，解锁大模型应用的无限可能！近年来，大模型在自然语言处理、计算机视觉等领域取得了突破性进展，但其庞大的参数量和计算需求也给部署和推理带来了巨大挑战。如何高效、稳定地运行大模型，成为开发者们关注的焦点。
K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略
2401_85390073的博客
02-16 4552
硬件配置服务器数量（台）CPU（核）内存（TB）系统版本RDMA21922.0Ti软件平台软件名称版本备注Kubernetesv1.30.6容器编排引擎v24.9.1自动化管理配置GPU驱动程序Volcanov1.9.0调度引擎560.35.03GPU驱动560.35.03NVSwitch互联CUDA12.6MLNX_OFEDIB驱动NCCL2.21.5GPU多卡通信SGLangLLM推理引擎v0.5.1。
大模型工具大比拼：SGLang、Ollama、VLLM、LLaMA.cpp 如何选择？
Xtaiyang的博客
02-18 3558
在人工智能飞速发展的今天，大模型已经成为推动技术革新的核心力量。无论是智能客服、内容创作，还是科研辅助、代码生成，大模型的身影无处不在。然而，面对市场上琳琅满目的工具，如何挑选最适合自己的那一款？本文将深入对比 SGLang 、Ollama 、VLLM 和 LLaMA.cpp 四款热门大模型工具，帮助您找到最契合需求的解决方案！
SGLang v0.3发布！并向你发来了一封会议邀请函
青年AI研究员idea加油站，AI开发者的新能源充电桩。
09-20 1473
可复制的指令在附录中。基准测试测量了这些模型在H100 GPU上的峰值输出吞吐量（对于轻量级模型，张量并行性=1，对于大型模型，张量并行性=8）在ShareGPT数据集上的BF16和FP8。Google的Gemma-2模型使用交错窗口注意力来减少长上下文的计算复杂性，在每层交替使用局部滑动窗口注意力（4K上下文长度）和全局注意力（8K上下文长度）。我们增强了SGLang v0.3以完全支持8K上下文长度，利用FlashInfer内核优化的窗口注意力内核（它跳过计算而不是掩蔽）并改进了我们的KV缓存管理器。
小白视角：vllm 迁移到 SGLang 的体验与收获
强化学习曾小健
11-23 1901
这是（我一个小白能理解的）最重要的两行 log，第一行是 prefill 时的信息，我们主要关注 cache hit rate，可以见到我们的 cache hit rate 是相对高的，这符合预期。当然，请注意你的请求本身能否维持稳定。（其实这事情我自己也觉得有些诧异，随着我的 prompt 越发复杂，cache-hit rate 从 99.91% 跌倒了 84.74%，导致我的 token-usage 从 0.21 增长到了 0.84，而 gen throughput 从接近 1k 到了 100 左右）
H200部署DeepSeek r1
03-22
### H200 GPU 上部署 DeepSeek 模型 R1 版本的方法 为了在 H200 GPU 硬件上成功部署 DeepSeek 的 R1 版本模型，以下是详细的说明： #### 1. 环境准备 确保服务器环境满足以下条件： - 安装 NVIDIA 驱动程序并配置 CUDA 和 cuDNN 支持。推荐使用 CUDA 11.7 或更高版本以及 cuDNN 8.x[^1]。 - 使用 Python 3.9 及以上版本作为开发环境的基础。 安装必要的依赖库可以通过 `pip` 实现： ```bash pip install torch transformers accelerate deepspeed ``` 这些工具包提供了 PyTorch 加速支持、Transformer 架构优化以及大规模分布式训练的能力。 --- #### 2. 数据加载与预处理 DeepSeek-R1 是基于 Transformer 结构的大规模语言模型，在实际应用前需完成数据加载和预处理工作。可以利用 Hugging Face 提供的 `transformers` 库来简化这一过程： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("deepseek/r1") model = AutoModelForCausalLM.from_pretrained("deepseek/r1", device_map="auto", offload_folder="./offload") ``` 上述代码片段展示了如何通过指定设备映射 (`device_map`) 将模型分配到多个 GPU 中运行，并设置离线存储路径以便管理内存占用情况。 --- #### 3. 多卡加速策略 对于单机多卡场景（如题目提到的 8×H200），建议采用混合精度训练技术以减少显存消耗并提升计算效率。具体实现方式如下所示： ```python import torch from accelerate import init_empty_weights, load_checkpoint_and_dispatch with init_empty_weights(): model = AutoModelForCausalLM.from_config(AutoConfig.from_pretrained("deepseek/r1")) model = load_checkpoint_and_dispatch( model, "./path/to/checkpoint", device_map="balanced_low_0" ) torch_dtype=torch.float16 ``` 这里我们引入了 Accelerate 工具箱中的函数来进行零初始化权重操作，随后加载检查点文件并将各层参数分布至不同 GPU 设备之上；同时设定浮点数类型为半精度模式 (float16)，从而进一步降低资源需求量。 --- #### 4. 性能调优技巧 针对特定硬件平台特性做出相应调整能够显著改善推理性能表现。例如开启 Tensor Core 功能可大幅提高矩阵运算速度；另外还可以尝试冻结部分编码器层或者裁剪冗余组件等方式达到节省成本目的。 最后提醒一点就是务必监控整个系统的健康状态指标比如温度变化趋势等等以防过热损坏等问题发生影响正常业务运转进程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值