使用Ray + vLLM，手把手教你如何集群部署DeepSeek-R1-Distill-Llama-70B大模型

原创 最新推荐文章于 2026-11-02 20:04:22 发布 3.6k 阅读 AI写同款
Llama-Turbo
Llama-Turbo 博客等级 码龄4年 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 3.6k累计阅读 3.6k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要
9901粉丝2024篇原创
关注
大模型推理：vllm多机多卡分布式本地部署 我是一台机器启动了一个docker，将docker当作一个节点，在docker里面执行ray start --head --port=6379，将另一台机器的docker作为worker节点，并加入到ray cluster中，如果机器间的通信没有问题，worker节点在几秒内就能加入集群。值得注意的是多机多卡部署的推理框架，也适用于单机多卡，单机单卡，这里不过多赘述。确保head节点的IP与指定的通信网卡的IP一致，同时，检查/etc/hosts里面的IP对应的主机名与docker的主机名是一致的。 阅读详情
AI摘要

本文介绍使用Ray + vLLM集群部署DeepSeek-R1-Distill-Llama-70B大模型，涵盖环境介绍、准备、模型下载、依赖库安装、Ray集群启动、模型启动及参数说明、测试访问等步骤。还分享了大模型LLM学习教程与路线，降低学习门槛。

对于大参数模型（比如70B+）的部署，要么使用多卡单机，要么使用集群。对于集群部署业界常用的方案是借用分布式计算框架Ray实现。本文我们就是用Ray + vLLM来部署一个DeepSeek-R1-Distill-Llama-70B大模型。

1、环境介绍

1）硬件

服务器卡数数量(台)CPU(核)内存系统版本

NVIDIA H100 80GB 

2卡

2

16/台

256G/台

Ubuntu 22.04.5 LTS

2）软件

软件版本备注

CUDA

12.2

MLNX_OFED

24.10-0.7.0.0

IB驱动

NCCL

2.21.5

GPU多卡通信

vllm

0.7.2

LLM推理引擎

ray

2.42.0

分布式计算框架

2、环境准备

1）安装显卡驱动

sudo apt install nvidia-driver-535

2）安装cuda12.2

wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.runsudo sh cuda_12.2.0_535.54.03_linux.run

3、模型下载（魔塔社区）​​​​​​​

# 安装ModelScopesudo pip3 install modelscope 
# 下载模型sudo mkdir -p /data/models/sudo modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B --local_dir /models/DeepSeek-R1-Distill-Llama-70B

4、安装vllm、Ray以及依赖库

sudo pip3 install  vllm ray[default] openai transformers tqdm

5、启动Ray集群

1）其中一台机器作为主节点，执行：

nohup ray start --block --head --port 6379 &> /var/log/ray.log &

2）另外一台机器作为从节点，执行：

nohup ray start --block --address='<master IP>:6379' &> /var/log/ray.log &

3）查看集群状态

ray status

出现类似日志说明集群正常：​​​​​​​

======== Autoscaler status: 2025-04-19 09:05:15.452837 ========Node status---------------------------------------------------------------Active: 1 node_10a69f12ecacc9109f72036acbdc3e51731af85034af1f5169f20e60 1 node_9df61c9a75c08d76958a6aa4f0a7685e4cde76923f9e2309a4907f45
Pending: (no pending nodes)Recent failures: (no failures)

6、使用vLLM启动模型

在主节点上执行：​​​​​​​

# 在集群head节点上执行nohup bash -c 'NCCL_NVLS_ENABLE=0 vllm serve /models/DeepSeek-R1-Distill-Llama-70B --enable-reasoning --reasoning-parser deepseek_r1 --trust-remote-code --tensor-parallel-size 4  --port=8080 --served-model-name DeepSeek-R1 --gpu-memory-utilization 0.95 --max-model-len 32768 --max-num-batched-tokens 32768 --quantization fp8' &> /var/log/vllm_deepseek_r1.log  &

参数说明：

  • NCCL_NVLS_ENABLE=0: 禁用NVIDIA集合通信库(NCCL)的NVLS功能。NVLS是NVIDIA Library Services的缩写，禁用它可以解决某些集群环境中的通信问题。

  • --enable-reasoning: 启用vLLM的推理功能，允许模型执行更复杂的推理任务，如分步骤解决问题。

  • --reasoning-parser deepseek_r1: 指定使用DeepSeek-R1模型特定的推理结果解析器。该解析器负责处理模型输出中的推理步骤和中间结果。

  • --trust-remote-code: 允许加载和执行模型中包含的自定义代码。这对于使用自定义模块的模型（如DeepSeek）很重要，但需要确保模型来源可信。

  • --tensor-parallel-size 4: 设置张量并行度为4，意味着模型将被分割到4个GPU上运行。这种拆分方式使得超大模型能够在多个GPU上高效运行，每个GPU仅存储并计算模型的一部分。

  • --gpu-memory-utilization 0.95: 设置GPU内存使用率上限为95%。

  • --max-model-len 32768: 设置模型能处理的最大序列长度(token数)为32,768。这是一个非常大的上下文窗口，允许处理极长的输入文本。

  • --max-num-batched-tokens 32768: 设置单个批次中允许的最大token数量，这里也设置为32,768。这影响服务处理多个并发请求的能力，更大的值允许更多并发，但需要更多内存。

  • --quantization fp8: 使用FP8（8位浮点）量化技术来减少模型内存需求。FP8是NVIDIA近期支持的高效量化格式，可以在保持较好性能的同时显著减少内存占用（相比FP16或FP32）。

7、测试大模型是否正常访问​​​​​​​

curl http://127.0.0.1:8080/v1/chat/completions \     -H "Content-Type: application/json" \     -d '{         "model": "DeepSeek-R1",         "messages": [             {"role": "user", "content": "你是谁？"}         ],         "max_tokens": 1024     }'

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

标签
#人工智能 #大模型 #langchain #LLM #AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
多机多卡推理部署大模型 python多机多卡推理部署大模型 阅读详情

相关推荐

vllm部署的一些思考

事实上，生产中的分布式推理，是 用k8s等进行管理，每个模型在一个容器中而已，如一个7b的模型占用一个GPU，作为一个node，而不是把模型分布式，是把服务分布式。但是这种方式只是把非常大的模型如lamma 3.1 ，这个模型有405b，需要用多机多卡的方式进行分布式。vllm号称利用ray支持多机多卡的方式，链接如下。常用的有xinference，还有各种k8s的集成。

andeyeluguo的博客 883

ray集群部署vllm的折磨

这个想法是在去年下半年的时候萌发的，当时开源界已经有很多LLM inference的框架，比如：huggingface transformer（包括accelerate）包，deepspeed-inference/deepspeed-FastGen（似乎现在做了集成，改名为deepspeed-MII）,还有GGUF格式的inference，以及今天的主角vllm。虽然问题得到了解决，但是我心里仍然很不安，原因很简单：我的解决方案并不是vllm官方支持的，只是通过研读源码，自行找到的解决方案。

张伟的专栏 5441

谷歌账号国家或地区设置修改全攻略：条件、流程与避坑指南

谷歌账号的国家或地区设置与付款资料、账号历史行为及登录环境强绑定，修改时需满足特定条件。其原理在于地区作为索引键，关联内容库、货币结算和风控策略。正确切换可解决内容推荐错乱、付款失败等问题，适用于搬家、订阅区域限定服务等场景。操作前需在目标地区创建付款资料、清空余额并取消订阅，且一年仅能修改一次。本文详解从准备到验证的完整流程，并揭示官方文档未提及的实操陷阱，助你安全完成地区切换。

weixin_42521558的博客 2400

从源码分析 vllm + Ray 的分布式推理流程

随着 LLM 模型越来越大，单 GPU 已经无法加载一个模型。以 Qwen-14B-Chat 模型为例，模型权重大概 28GB，但是单个 NVIDIA A10 仅有 24GB 显存。如果想要在 A10 上部署 Qwen-14B-Chat 模型，我们需要将模型切分后部署到 2 个 A10 机器上，每个 A10 卡加载一半的模型，这种方式称之为分布式推理。社区涌现了很多支持分布式推理的框架如 vllm、deepspeed-mii，rtp-llm 等。

阿里技术 9959

传输线的特征阻抗

信号源内阻与所接传输线的特性阻抗大小相等且相位相同，或传输线的特性阻抗与所接负载阻抗的大小相等且相位相同，分别称为传输线的输入端或输出端处于阻抗匹配状态，简称为阻抗匹配。否则，便称为阻抗失配。有时也直接叫做匹配或失配。指一个电路输入端的等效阻抗。在输入端上加上一个电压源U，测量输入端的电流I，则输入阻抗Rin就是U/I。可以把输入端想象成一个电阻的两端，这个电阻的阻值，就是输入阻抗。- 对于电压驱动的电路，输入阻抗越大，则对电压源的负载就越轻，因而就越容易驱动，也不会对信号源有影响；

学海无涯的专栏 4466

14自由度汽车动力学模型

多体系统分解簧上质量刚体：包含车身主体，具有6个自由度（x/y/z平移 + 俯仰/侧倾/横摆旋转）四个簧下质量刚体：每个车轮独立建模，含垂直跳动（z向）和旋转（绕z轴）自由度总自由度：6（车身） + 4×2（车轮） = 14自由度。

chao189844的博客 1198

大模型集群部署指南：手把手教你实现高效扩展与运行，非常详细，收藏我这一篇就够了

本文介绍了使用Ray和vLLM部署70B参数大模型DeepSeek-R1的技术方案。硬件采用2台配备NVIDIA H100 GPU的服务器，软件环境包括CUDA 12.2、vLLM 0.7.2和Ray 2.42.0。部署步骤涵盖：1）安装驱动和CUDA；2）通过ModelScope下载模型；3）搭建Ray集群；4）配置vLLM启动参数，包括FP8量化、32K上下文和4卡张量并行；5）测试API接口。文章还简要介绍了AI大模型学习路径，包含7个阶段的系统化课程，涵盖从提示工程到行业应用的全栈技能。

m0_63171455的博客 1583

UEC++ 虚幻5笔记(数字孪生示例) day13

文件读取与写入，数字孪生入门制作

qq_44924388的博客 3844

【大模型集群部署保姆级教程】手把手教你如何高效部署，提升AI模型性能与稳定性！

本文介绍了使用Ray和vLLM分布式部署70B参数大模型DeepSeek-R1-Distill-Llama的技术方案。环境配置包括2台配备H100 GPU的服务器，通过Ray建立集群，采用FP8量化、4卡张量并行实现模型推理，支持32K长文本处理。部署过程涵盖驱动安装、模型下载、集群启动等步骤，并提供了完整的测试接口。文章还分析了2025年大模型人才市场现状，指出初级工程师平均薪资达28K，同时详细规划了从提示工程到商业落地的90天学习路径。

m0_63171455的博客 2056

TCP Reno/CUBIC 拥塞控制算法对比：从 Tahoe 到 BBR 的 4 种核心策略演进

本文深入解析了TCP拥塞控制算法的演进历程，从经典的Tahoe、Reno到现代的CUBIC和BBR，详细对比了4种核心策略的实现机制与性能差异。通过分析拥塞窗口、流量控制等关键技术，揭示了不同算法在高带宽延迟网络中的优化方向，为网络协议栈优化提供理论依据和实践指导。

weixin_33725239的博客 442

optee技术简介

OP-TEE（Open Portable Trusted Execution Environment）是一种开源的可信执行环境（TEE），专为ARM TrustZone架构设计。TEE是一种独立的执行环境，运行在主操作系统之外，为敏感任务提供安全的计算空间，如加密、身份验证、密钥管理等。

baron-周贺贺-代码改变世界ctw 1279

基于K8s+Ray+vLLM分布式私有化部署DeepSeek-R1-Distill-Llama-70B

摘要：本文完整复现基于 Kubernetes + Ray + vLLM 的 DeepSeek-R1-Distill-Llama-70B 分布式私有化部署方案。通过 KubeRay 在 K8s 上编排 Ray 集群，利用 PV/PVC 持久化共享 131GB 模型文件，以 vLLM 的张量并行 + 流水线并行将 70B 模型拆分到多张 A100 显卡推理，最终对外提供兼容 OpenAI 协议的 HTTP 服务。全文覆盖基础概念、架构设计、分步部署、服务验证与生产最佳实践，适合企业内网私有大模型落地场景。

2601_96911161的博客 344

车载网络测试实操源码_使用CAPL解析VBF文件

VBF（Versatile Binary Format）文件是一种二进制文件格式，被沃尔沃、福特、马自达、吉利等汽车制造商广泛采用。这种格式无法使用我们常规的烧录器进行刷写，通常需要进行解析转化。如果各位需要自己编写软件或脚本来刷写VBF文件，或者需要对刷写功能进行测试时，那么本篇文章就会对你非常有用。今天我们就来讲一下如何使用CAPL脚本对VBF文件进行数据解析。VBF文件包含三部分：VBF版本段、文件头段、数据段。前面的版本段和文件头段是ASCII码，包含版本、地址、校验码等信息

文章主要涉及嵌入式软件开发、测试、项目管理等，欢迎交流，共同进步。 3001

vLLM 在 Intel® GPU（XPU）平台上的部署与模型支持实践指南

本指南以 [docs/models/hardware_supported_models/xpu.md](https://link.gitcode.com/i/36c953c65ce74466a62dc9df8a987ccf) 为主线，系统梳理 vLLM 在 Intel GPU（XPU）硬件上的官方验证范围、推荐模型矩阵（文本 / 多模态 / 向量与重排）及相应的数据精度（BF16、Online F

gitblog_01061的博客 477

23种设计模式-代理(Proxy)设计模式

软考中级-软件设计师 代理设计模式

片言可决讼，半纸能缚龙 1784

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案

OpenChamber 1.3.1 发布解析：空会话修复与全新应用图标深度拆解

OpenChamber 1.3.1 于 2025-12-22 发布，基于 OpenCode 智能体的开发环境 OpenChamber 这一版本的主题是"新应用图标 + 不再产生空会话"。本文回答：这两件事在代码层面是怎么做到的，会话创建的时机具体改在哪一层，升级后如何逐项核对新行为。 ## 版本快照 | 改动类型 | 内容摘要 | 影响范围 | | --- | --- | --- | | Ne

gitblog_01147的博客 475

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【合规领域】【信息科学与工程学】计算机科学与自动化——第五百篇 国产化/XC解决方案 第七篇 天数智芯GPU芯片适配01

天数智芯 GEMM 算子适配的核心在于利用分块策略和共享内存优化，充分发挥天垓系列芯片的高带宽和计算能力。实际生产中建议直接调用。

weixin_49199313的博客 306

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

vLLM & Ray 分布式推理模型部署

通过 vllm 和 ray 结合，使用 4 台 A10 显卡 部署 qwen2.5 14b 全参数推理模型。实现分布式推理模型部署的方法。解决单机单卡显存不够，模型推理效率低等问题。

欢迎来到云逸的博客频道 5023

在甲骨文云上用 Ray +Vllm 部署 Mixtral 8*7B 模型

在甲骨文云上用 Ray +Vllm 部署 Mixtral 8*7B 模型

engchina的专栏 2518

vLLM 多机多卡场景集成 Ray

优势：无需额外配置，vLLM 内部处理多卡并行 17106。 2. 多机多卡场景：需独立部署 Ray 集群 适用条件：模型需跨节点部署（如流水线并行或混合并行）。 关键步骤： 安装 Ray： 启动 Ray 集群： 头节点： 工作节点： 启动 vLLM 服务： 注意事项： 网络配置：需指定通信网卡（如 ）以优化跨节点通信 163。 资源分配：需通过 Ray 的 Placement Group 显式分配 GPU，避免资源冲突 244。 版本兼容性：vLLM 与 Ray 版本需匹配，部

学亮编程手记 4337

Fastchat + vllm + ray + Qwen1.5-7b 在2080ti 双卡上 实现多卡推理加速

Ray 是一个高性能的分布式计算框架，由UC Berkeley RISELab 开发，支持Python 语言，并可与PyTorch 等机器学习框架结合使用。在隐私计算方面，Ray提供了数据隐私保护，支持数据共享和协作，同时允许在不泄露原始数据的情况下进行深度学习模型训练。OpenAI API提供OpenAI兼容的API服务，接受请求后，先向Controller获取Model Worker地址，再向Model Worker实例发送请求生成文本，最后返回OpenAI兼容的报文。执行情况如下 并发速度还不错。

李昊轩的博客 5148

基于Ray和vLLM构建70B+模型的开源RLHF全量训练框架

而这些PEFT的方式往往意味着模型效果的妥协。所以我们想到对于 Actor 推理模块我们基于 vLLM 的 TP 并行和 Dynamic Batching 能力做了分布式推理的优化，然后其他模块（即 Actor/Critic的训练模块和Reward/RefActor的推理模块）因为只参一次 forward 或者 backward 我们采用 ZeRO3 的方式进行并行训练。对于 34B+的大模型，我们用 vLLM 的 TP 并行加载 Actor 模型，其他模型仍然用 Ray 的方式分散在不同的GPU上。

weixin_43564920的博客 3407

【AI实战】大模型 LLM 部署推理框架的 vLLM 应用

大模型 LLM 推理框架的 vLLM 应用

Zack的博客 1万+

VLLM推理流程梳理

本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。先从使用VLLM调用opt-125M模型进行推理的脚本看起： 可以看到这里创建了一个LLM对象，然后调用了LLM对象的函数。这就是vllm的入口点，接下来我们对LLM这个类的generaet过程进行解析。首先看一下LLM类的初始化函数： 可以看到LLM类似于对LLMEngine进行了封装，一个LLM对象对应了一个LLMEngine对象。接下来我们解析一下和，首先来看： 接下来对进行解析： 从的定义可以知道，它做了初始化token

I good vegetable a! 2万+

大模型分布式推理：Ray 与 vLLM/Transformers 的协同架构深度解析

大模型分布式推理：Ray 与 vLLM/Transformers 的协同架构深度解析

缘友一世的博客 2286

从单机到集群：用vLLM+Ray优雅地部署你的分布式推理集群DeepSeek-R1-0528（附：完整YAML配置文件）

对于小模型，单机单卡或者单机多卡就能满足推理的部署需求，比如Qwen-32B，模型权重文件大概64G，单个H20的显存有96G，所以单卡就可满足。

m0_59164520的博客 1647
上一篇： 李宏毅生成式 AI 导论：最好的 LLM 大模型教程！
下一篇： 0代码3步完成！一键部署DeepSeek-V3、DeepSeek-R1（附教程）
点赞 26
评论 0
书签 书签 21
Llama-Turbo
Llama-Turbo
博客等级 码龄4年 9901粉丝 2024原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值