使用Ray + vLLM，手把手教你如何集群部署DeepSeek-R1-Distill-Llama-70B大模型

Ray + vLLM集群部署DeepSeek-R1-Distill-Llama-70B大模型
最新推荐文章于 2025-10-14 16:54:54 发布
原创 最新推荐文章于 2025-10-14 16:54:54 发布 · 2.9k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大模型 #langchain #LLM #AI大模型

部署运行你感兴趣的模型镜像

对于大参数模型（比如70B+）的部署，要么使用多卡单机，要么使用集群。对于集群部署业界常用的方案是借用分布式计算框架Ray实现。本文我们就是用Ray + vLLM来部署一个DeepSeek-R1-Distill-Llama-70B大模型。

1、环境介绍

1）硬件

服务器卡数数量(台)CPU(核)内存系统版本

NVIDIA H100 80GB 

2卡

2

16/台

256G/台

Ubuntu 22.04.5 LTS

2）软件

软件版本备注

CUDA

12.2

MLNX_OFED

24.10-0.7.0.0

IB驱动

NCCL

2.21.5

GPU多卡通信

vllm

0.7.2

LLM推理引擎

ray

2.42.0

分布式计算框架

2、环境准备

1）安装显卡驱动

sudo apt install nvidia-driver-535

2）安装cuda12.2

wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.runsudo sh cuda_12.2.0_535.54.03_linux.run

3、模型下载（魔塔社区）​​​​​​​

# 安装ModelScopesudo pip3 install modelscope 
# 下载模型sudo mkdir -p /data/models/sudo modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B --local_dir /models/DeepSeek-R1-Distill-Llama-70B

4、安装vllm、Ray以及依赖库

sudo pip3 install  vllm ray[default] openai transformers tqdm

5、启动Ray集群

1）其中一台机器作为主节点，执行：

nohup ray start --block --head --port 6379 &> /var/log/ray.log &

2）另外一台机器作为从节点，执行：

nohup ray start --block --address='<master IP>:6379' &> /var/log/ray.log &

3）查看集群状态

ray status

出现类似日志说明集群正常：​​​​​​​

======== Autoscaler status: 2025-04-19 09:05:15.452837 ========Node status---------------------------------------------------------------Active: 1 node_10a69f12ecacc9109f72036acbdc3e51731af85034af1f5169f20e60 1 node_9df61c9a75c08d76958a6aa4f0a7685e4cde76923f9e2309a4907f45
Pending: (no pending nodes)Recent failures: (no failures)

6、使用vLLM启动模型

在主节点上执行：​​​​​​​

# 在集群head节点上执行nohup bash -c 'NCCL_NVLS_ENABLE=0 vllm serve /models/DeepSeek-R1-Distill-Llama-70B --enable-reasoning --reasoning-parser deepseek_r1 --trust-remote-code --tensor-parallel-size 4  --port=8080 --served-model-name DeepSeek-R1 --gpu-memory-utilization 0.95 --max-model-len 32768 --max-num-batched-tokens 32768 --quantization fp8' &> /var/log/vllm_deepseek_r1.log  &

参数说明：

  • NCCL_NVLS_ENABLE=0: 禁用NVIDIA集合通信库(NCCL)的NVLS功能。NVLS是NVIDIA Library Services的缩写，禁用它可以解决某些集群环境中的通信问题。

  • --enable-reasoning: 启用vLLM的推理功能，允许模型执行更复杂的推理任务，如分步骤解决问题。

  • --reasoning-parser deepseek_r1: 指定使用DeepSeek-R1模型特定的推理结果解析器。该解析器负责处理模型输出中的推理步骤和中间结果。

  • --trust-remote-code: 允许加载和执行模型中包含的自定义代码。这对于使用自定义模块的模型（如DeepSeek）很重要，但需要确保模型来源可信。

  • --tensor-parallel-size 4: 设置张量并行度为4，意味着模型将被分割到4个GPU上运行。这种拆分方式使得超大模型能够在多个GPU上高效运行，每个GPU仅存储并计算模型的一部分。

  • --gpu-memory-utilization 0.95: 设置GPU内存使用率上限为95%。

  • --max-model-len 32768: 设置模型能处理的最大序列长度(token数)为32,768。这是一个非常大的上下文窗口，允许处理极长的输入文本。

  • --max-num-batched-tokens 32768: 设置单个批次中允许的最大token数量，这里也设置为32,768。这影响服务处理多个并发请求的能力，更大的值允许更多并发，但需要更多内存。

  • --quantization fp8: 使用FP8（8位浮点）量化技术来减少模型内存需求。FP8是NVIDIA近期支持的高效量化格式，可以在保持较好性能的同时显著减少内存占用（相比FP16或FP32）。

7、测试大模型是否正常访问​​​​​​​

curl http://127.0.0.1:8080/v1/chat/completions \     -H "Content-Type: application/json" \     -d '{         "model": "DeepSeek-R1",         "messages": [             {"role": "user", "content": "你是谁？"}         ],         "max_tokens": 1024     }'

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

您可能感兴趣的与本文相关的镜像

Vllm-v0.11.0

Vllm-v0.11.0

Vllm

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值

Llama-Turbo
关注
精选资源
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
由于DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本可能涉及复杂的计算和数据处理工作，其安装和部署可能需要在具备一定计算资源的环境下进行，例如配备高性能GPU的工作站或服务器。在安装过程中，用户...
DeepSeek HuggingFace 70B Llama 版本 （DeepSeek-R1-Distill-Llama-70B）
简简单单Onlinezuozuo
02-14 1281
DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有监督微调 （SFT） 作为初步步骤，在推理方面表现出了卓越的性能。随着 RL 的出现，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。但是，DeepSeek-R1-Zero 遇到了无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能， DeepSeek 开始了 DeepSeek-R1，它在 RL 之前整合了冷启动数据。
从源码分析 vllm + Ray 的分布式推理流程
阿里技术
06-12 9548
随着 LLM 模型越来越大，单 GPU 已经无法加载一个模型。以 Qwen-14B-Chat 模型为例，模型权重大概 28GB，但是单个 NVIDIA A10 仅有 24GB 显存。如果想要在 A10 上部署 Qwen-14B-Chat 模型，我们需要将模型切分后部署到 2 个 A10 机器上，每个 A10 卡加载一半的模型，这种方式称之为分布式推理。社区涌现了很多支持分布式推理的框架如 vllm、deepspeed-mii，rtp-llm 等。
用 Ray 跨节点调用 GPU 部署 DeepSeek 大模型，实现分布式高效推理
qq_34200979的博客
07-16 1938
在大模型时代，单节点 GPU 资源往往难以满足大模型（如 7B/13B 参数模型）的部署需求。借助 Ray 分布式框架，我们可以轻松实现跨节点 GPU 资源调度，让大模型在多节点间高效运行。本文将以 DeepSeek-llm-7B-Chat 模型为例，详细讲解如何通过 Ray 搭建跨节点集群，结合 vLLM 实现分布式推理，并解决部署过程中的常见问题。
浅谈目前主流的LLM软件技术栈：Kubernetes + Ray + PyTorch + vLLM 的协同架构
最新发布
qianggezhishen的专栏
10-14 1433
Kubernetes + Ray + PyTorch + vLLM 的组合，代表了当前生成式 AI 基础设施的成熟范式。它通过分层解耦的设计哲学，既满足了算法团队对灵活性与性能的需求，又兼顾了平台团队对稳定性与可运维性的要求。未来，该栈将持续演进：•训练-推理一体化：Ray Train 与 Ray Serve 深度联动，支持在线微调与实时推理；•更智能的调度：基于请求特征（如 prompt 长度、模型大小）动态分配资源；•硬件抽象增强。
vLLM & Ray 分布式推理模型部署
欢迎来到云逸的博客频道
04-14 3787
通过 vllm 和 ray 结合，使用 4 台 A10 显卡 部署 qwen2.5 14b 全参数推理模型。实现分布式推理模型部署的方法。解决单机单卡显存不够，模型推理效率低等问题。
解锁大模型潜力：vLLM 集群部署 满血DeepSeek R1 671B大模型实战指南
m0_59163425的博客
02-25 6311
导语： 大模型时代，如何高效部署和推理成为关键挑战。DeepSeek 是一个专注于中文理解和生成的大模型系列，涵盖了文本分类、情感分析、机器翻译、文本摘要等多个任务。其强大的语义理解和生成能力，为各种自然语言处理应用提供了有力支持。本文将带你深入探索 vLLM 集群部署 DeepSeek 大模型的实战技巧，解锁大模型应用的无限可能！近年来，大模型在自然语言处理、计算机视觉等领域取得了突破性进展，但其庞大的参数量和计算需求也给部署和推理带来了巨大挑战。如何高效、稳定地运行大模型，成为开发者们关注的焦点。
ubuntu系统vllm部署deepseek-70B(DeepSeek-R1-Distill-Llama-70B)
qq_38988216的博客
02-14 7130
假设下载到 ~/Downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。--served-model-name deepseek-70b # API中的模型名称。--gpu-memory-utilization 0.85 \ # 显存利用率。--trust-remote-code \ # 如果模型需要自定义代码。# 例如DeepSeek-R1-Distill-Llama-70B模型。# 例如deepseek-r1-awq量化模型。
DeepSeek本地部署之deepseek-r1-distill-llama-70b 本地部署与 AI 应用实践
2301_80239908的博客
07-12 1901
本文介绍了本地化部署大型语言模型DeepSeek-R1-Distill-Llama-70B的实施方案。该700亿参数开源模型在中文任务中表现优异，具有数据隐私保护、可定制化等优势。文章重点提供了服务器硬件配置建议，推荐使用多块高性能GPU（如4×RTX4090或A100 80GB）、大内存（128GB+）及高速NVMe存储。同时对比了单机与多机集群部署的适用场景，强调中小企业可优先采用单机多卡方案平衡性能与成本。最后指出需结合量化技术优化推理效率，满足企业级AI应用的并发需求。
5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ
engchina的专栏
02-11 2662
5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
热门推荐
engchina的专栏
02-02 1万+
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器
寻道AI，探索AI无限可能！
03-21 4885
大语言模型的落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型，无论是深度学习新手还是有经验的开发者，都能从中获取实用的知识和技能。# 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率# 初始化 vLLM 推理引擎# 初始化 vLLM 推理引擎。
大模型集群部署指南：手把手教你实现高效扩展与运行，非常详细，收藏我这一篇就够了
m0_63171455的博客
06-03 1276
本文介绍了使用Ray和vLLM部署70B参数大模型DeepSeek-R1的技术方案。硬件采用2台配备NVIDIA H100 GPU的服务器，软件环境包括CUDA 12.2、vLLM 0.7.2和Ray 2.42.0。部署步骤涵盖：1）安装驱动和CUDA；2）通过ModelScope下载模型；3）搭建Ray集群；4）配置vLLM启动参数，包括FP8量化、32K上下文和4卡张量并行；5）测试API接口。文章还简要介绍了AI大模型学习路径，包含7个阶段的系统化课程，涵盖从提示工程到行业应用的全栈技能。
在甲骨文云上用 Ray +Vllm 部署 Mixtral 8*7B 模型
engchina的专栏
01-08 2315
在甲骨文云上用 Ray +Vllm 部署 Mixtral 8*7B 模型
vllm-openai多服务器集群部署AI模型
woshiabc111的博客
03-17 1441
vllm集群部署大模型
ray集群部署vllm的折磨
张伟的专栏
08-02 4961
这个想法是在去年下半年的时候萌发的，当时开源界已经有很多LLM inference的框架，比如：huggingface transformer（包括accelerate）包，deepspeed-inference/deepspeed-FastGen（似乎现在做了集成，改名为deepspeed-MII）,还有GGUF格式的inference，以及今天的主角vllm。虽然问题得到了解决，但是我心里仍然很不安，原因很简单：我的解决方案并不是vllm官方支持的，只是通过研读源码，自行找到的解决方案。
基于Ray和vLLM构建70B+模型的开源RLHF全量训练框架
weixin_43564920的博客
01-21 3164
而这些PEFT的方式往往意味着模型效果的妥协。所以我们想到对于 Actor 推理模块我们基于 vLLM 的 TP 并行和 Dynamic Batching 能力做了分布式推理的优化，然后其他模块（即 Actor/Critic的训练模块和Reward/RefActor的推理模块）因为只参一次 forward 或者 backward 我们采用 ZeRO3 的方式进行并行训练。对于 34B+的大模型，我们用 vLLM 的 TP 并行加载 Actor 模型，其他模型仍然用 Ray 的方式分散在不同的GPU上。
使用 vLLM 部署 DeepSeek-R1（671B 满血版）
u013250861的博客
07-02 650
生产环境建议结合 Kubernetes 管理资源[1]。创建共享存储（NAS/NFS），挂载到所有节点。（≥550 版本）和。
vllm+deepseek-r1-distill-qwen-32b 部署
09-11
<think> 嗯，用户想查找用vLLM部署DeepSeek-R1-Distill-Qwen-32B的方法。我需要从提供的引用中整理出清晰的步骤流程。 引用[1]提到V100-32GB*2硬件环境，引用[2]给出了模型下载命令，引用[3]列出了模型架构对应关系，引用[4]则包含具体的vLLM服务启动命令。这些信息需要有机整合。 注意到用户特别强调要"详细步骤"，考虑将部署流程拆解成环境准备、模型获取、服务启动三个主要阶段。硬件要求部分需要明确标注最低显存配置，因为32B模型对显存要求较高。 在模型下载环节，引用[2]的modelscope命令行可以直接采用，但需要补充说明可选替代方案（HuggingFace）。启动命令部分，引用[4]的复杂参数需要解释每个关键参数的作用，比如--max-model-len和--tensor-parallel-size的配置逻辑。 考虑到用户可能遇到的实际问题，准备在验证环节增加curl测试示例和常见故障处理建议。突发奇想是否要补充性能调优技巧，但根据当前引用信息，决定保持核心步骤的简洁性。 最后设计相关问题要覆盖延伸场景：单卡部署可行性、量化方案选择、WebUI集成等，这些问题在引用中都有线索可循。特别是引用[3]提到不同规模模型，引用[2]涉及Open-WebUI，可以作为问题设计的依据。 </think> 以下是使用 **vLLM 部署 DeepSeek-R1-Distill-Qwen-32B** 的详细步骤，结合引用内容整理： --- ### **部署步骤** #### **1. 环境准备** - **硬件要求**： 至少需要 **2 张 V100-32GB 显卡**（或同级 A100/A800），显存需求约 60GB+ [^1][^3]。 - **软件依赖**： ```bash # 安装 Python 3.8+ sudo apt install python3.9 pip install vllm==0.4.1 transformers==4.39.0 ``` #### **2. 下载模型** - 通过 **ModelScope** 下载（推荐）： ```bash modelscope download --model=deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --local_dir ./DeepSeek-R1-Distill-Qwen-32B [^2] ``` - 或通过 **HuggingFace**： ```bash git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B ``` #### **3. 启动 vLLM 服务** ```bash vllm serve \ --model DeepSeek-R1-Distill-Qwen-32B \ # 模型路径 --quantization awq_marlin \ # 量化方案（可选优化） --max-model-len 18432 \ # 模型最大上下文长度 --max-num-batched-tokens 512 \ # 单次批处理最大 token 数 --tensor-parallel-size 2 \ # GPU 并行数（与显卡数量一致） --gpu-memory-utilization 0.98 \ # 显存利用率 --port 8000 \ # 服务端口 --enforce-eager # 避免内核兼容性问题 [^4] ``` #### **4. 验证服务** 发送测试请求： ```bash curl http://localhost:8000/generate \ -H "Content-Type: application/json" \ -d '{"prompt": "你好，DeepSeek", "max_tokens": 50}' ``` 若返回生成文本，则部署成功。 --- ### **关键参数说明** | **参数** | **作用** | **推荐值** | |---------------------------|----------------------------------------|------------------| | `--tensor-parallel-size` | 多卡并行推理 | `2`（双卡） | | `--max-model-len` | 支持的最大上下文长度 | `18432` | | `--quantization` | 量化优化（降低显存） | `awq_marlin` | | `--gpu-memory-utilization`| 显存利用率（接近1.0需确保显存充足） | `0.98` | --- ### **常见问题解决** 1. **显存不足**： - 增加 `--quantization awq`（需模型支持 AWQ 量化） - 降低 `--max-model-len` 或 `--max-num-batched-tokens` 2. **启动报错**： - 添加 `--enforce-eager` 禁用内核融合 [^4] - 检查 CUDA 版本（需 ≥ 12.1） --- ### **性能优化建议** - **多卡负载均衡**：确保 `--tensor-parallel-size` 与 GPU 数量一致。 - **批处理调整**：根据请求量调整 `--max-num-seqs`（默认 1，可适当增加吞吐量）。 - **容器化部署**：使用 Docker 隔离环境（参考 [vLLM 官方文档](https://vllm.ai)）[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值