使用Ray + vLLM，手把手教你如何集群部署DeepSeek-R1-Distill-Llama-70B大模型

于 2025-04-24 10:47:28 发布
阅读量1.4k 收藏 15
点赞数 26
文章标签： 人工智能 大模型 langchain LLM AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pythonhy/article/details/147472504
版权

对于大参数模型（比如70B+）的部署，要么使用多卡单机，要么使用集群。对于集群部署业界常用的方案是借用分布式计算框架Ray实现。本文我们就是用Ray + vLLM来部署一个DeepSeek-R1-Distill-Llama-70B大模型。

1、环境介绍

1）硬件

服务器卡数数量(台)CPU(核)内存系统版本

NVIDIA H100 80GB 

2卡

2

16/台

256G/台

Ubuntu 22.04.5 LTS

2）软件

软件版本备注

CUDA

12.2

MLNX_OFED

24.10-0.7.0.0

IB驱动

NCCL

2.21.5

GPU多卡通信

vllm

0.7.2

LLM推理引擎

ray

2.42.0

分布式计算框架

2、环境准备

1）安装显卡驱动

sudo apt install nvidia-driver-535

2）安装cuda12.2

wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.runsudo sh cuda_12.2.0_535.54.03_linux.run

3、模型下载（魔塔社区）​​​​​​​

# 安装ModelScopesudo pip3 install modelscope 
# 下载模型sudo mkdir -p /data/models/sudo modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B --local_dir /models/DeepSeek-R1-Distill-Llama-70B

4、安装vllm、Ray以及依赖库

sudo pip3 install  vllm ray[default] openai transformers tqdm

5、启动Ray集群

1）其中一台机器作为主节点，执行：

nohup ray start --block --head --port 6379 &> /var/log/ray.log &

2）另外一台机器作为从节点，执行：

nohup ray start --block --address='<master IP>:6379' &> /var/log/ray.log &

3）查看集群状态

ray status

出现类似日志说明集群正常：​​​​​​​

======== Autoscaler status: 2025-04-19 09:05:15.452837 ========Node status---------------------------------------------------------------Active: 1 node_10a69f12ecacc9109f72036acbdc3e51731af85034af1f5169f20e60 1 node_9df61c9a75c08d76958a6aa4f0a7685e4cde76923f9e2309a4907f45
Pending: (no pending nodes)Recent failures: (no failures)

6、使用vLLM启动模型

在主节点上执行：​​​​​​​

# 在集群head节点上执行nohup bash -c 'NCCL_NVLS_ENABLE=0 vllm serve /models/DeepSeek-R1-Distill-Llama-70B --enable-reasoning --reasoning-parser deepseek_r1 --trust-remote-code --tensor-parallel-size 4  --port=8080 --served-model-name DeepSeek-R1 --gpu-memory-utilization 0.95 --max-model-len 32768 --max-num-batched-tokens 32768 --quantization fp8' &> /var/log/vllm_deepseek_r1.log  &

参数说明：

  • NCCL_NVLS_ENABLE=0: 禁用NVIDIA集合通信库(NCCL)的NVLS功能。NVLS是NVIDIA Library Services的缩写，禁用它可以解决某些集群环境中的通信问题。

  • --enable-reasoning: 启用vLLM的推理功能，允许模型执行更复杂的推理任务，如分步骤解决问题。

  • --reasoning-parser deepseek_r1: 指定使用DeepSeek-R1模型特定的推理结果解析器。该解析器负责处理模型输出中的推理步骤和中间结果。

  • --trust-remote-code: 允许加载和执行模型中包含的自定义代码。这对于使用自定义模块的模型（如DeepSeek）很重要，但需要确保模型来源可信。

  • --tensor-parallel-size 4: 设置张量并行度为4，意味着模型将被分割到4个GPU上运行。这种拆分方式使得超大模型能够在多个GPU上高效运行，每个GPU仅存储并计算模型的一部分。

  • --gpu-memory-utilization 0.95: 设置GPU内存使用率上限为95%。

  • --max-model-len 32768: 设置模型能处理的最大序列长度(token数)为32,768。这是一个非常大的上下文窗口，允许处理极长的输入文本。

  • --max-num-batched-tokens 32768: 设置单个批次中允许的最大token数量，这里也设置为32,768。这影响服务处理多个并发请求的能力，更大的值允许更多并发，但需要更多内存。

  • --quantization fp8: 使用FP8（8位浮点）量化技术来减少模型内存需求。FP8是NVIDIA近期支持的高效量化格式，可以在保持较好性能的同时显著减少内存占用（相比FP16或FP32）。

7、测试大模型是否正常访问​​​​​​​

curl http://127.0.0.1:8080/v1/chat/completions \     -H "Content-Type: application/json" \     -d '{         "model": "DeepSeek-R1",         "messages": [             {"role": "user", "content": "你是谁？"}         ],         "max_tokens": 1024     }'

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

Llama-Turbo
关注
AI智算-K8s+vLLM & Ray：DeepSeek-r1 671B 满血版分布式推理部署实践
Kason_iWiki
04-09 559
自从上次发布 【AI-智算】K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略] 文章后，本次将演示另一个主流推理引擎工具——vLLM，结合K8s、LWS、Ray、Volcano等技术栈，部署DeepSeek-r1 671b 满血版分布式推理集群，并对比其与SGLang推理引擎的性能表现。
多机多卡推理部署大模型
NLP与推荐算法
06-20 4763
python多机多卡推理部署大模型
大模型推理：vllm多机多卡分布式本地部署
m0_74824755的博客
12-28 7665
我是一台机器启动了一个docker，将docker当作一个节点，在docker里面执行ray start --head --port=6379，将另一台机器的docker作为worker节点，并加入到ray cluster中，如果机器间的通信没有问题，worker节点在几秒内就能加入集群。值得注意的是多机多卡部署的推理框架，也适用于单机多卡，单机单卡，这里不过多赘述。确保head节点的IP与指定的通信网卡的IP一致，同时，检查/etc/hosts里面的IP对应的主机名与docker的主机名是一致的。
vLLM & Ray 分布式推理模型部署
最新发布
欢迎来到云逸的博客频道
04-14 1512
通过 vllm 和 ray 结合，使用 4 台 A10 显卡 部署 qwen2.5 14b 全参数推理模型。实现分布式推理模型部署的方法。解决单机单卡显存不够，模型推理效率低等问题。
解锁大模型潜力：vLLM 集群部署 满血DeepSeek R1 671B大模型实战指南
m0_59163425的博客
02-25 5282
导语： 大模型时代，如何高效部署和推理成为关键挑战。DeepSeek 是一个专注于中文理解和生成的大模型系列，涵盖了文本分类、情感分析、机器翻译、文本摘要等多个任务。其强大的语义理解和生成能力，为各种自然语言处理应用提供了有力支持。本文将带你深入探索 vLLM 集群部署 DeepSeek 大模型的实战技巧，解锁大模型应用的无限可能！近年来，大模型在自然语言处理、计算机视觉等领域取得了突破性进展，但其庞大的参数量和计算需求也给部署和推理带来了巨大挑战。如何高效、稳定地运行大模型，成为开发者们关注的焦点。
DeepSeek 部署指南 (使用 vLLM 本地部署)
热门推荐
m0_48891301的博客
02-07 3万+
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。
大模型训练部署利器--开源分布式计算框架Ray原理介绍
2401_83124266的博客
03-03 1万+
本文介绍了分布式计算框架Ray的原理。
Ray 介绍：开源的大模型分布式计算框架
学亮编程手记
03-28 1526
Ray 凭借其灵活的分布式抽象高效的资源调度和强大的生态兼容性，成为 AI 和大数据领域的关键基础设施。无论是单机开发还是千节点集群，Ray 均能通过统一 API 简化复杂性，是未来十年值得关注的核心计算框架之一。对于开发者而言，掌握 Ray 意味着能够更高效地应对从实验到生产的全链路挑战141150。
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
由于DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本可能涉及复杂的计算和数据处理工作，其安装和部署可能需要在具备一定计算资源的环境下进行，例如配备高性能GPU的工作站或服务器。在安装过程中，用户...
5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ
engchina的专栏
02-11 2396
5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ
DeepSeek HuggingFace 70B Llama 版本 （DeepSeek-R1-Distill-Llama-70B）
简简单单Onlinezuozuo
02-14 1018
DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有监督微调 （SFT） 作为初步步骤，在推理方面表现出了卓越的性能。随着 RL 的出现，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。但是，DeepSeek-R1-Zero 遇到了无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能， DeepSeek 开始了 DeepSeek-R1，它在 RL 之前整合了冷启动数据。
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
engchina的专栏
02-02 9327
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 8308
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
大模型部署的问题，以及企业级大模型的分布式部署方案
m0_71745484的博客
01-22 987
大模型的分布式训练和部署，是一个必须要学会的东西**”**在学习大模型的过程中，很多人都知道大模型的训练与部署，但网上大部分资料介绍的都是单机训练和部署。比如在之前的文章中——，介绍了本地部署大模型的三种工具。但这些工具总会有各种各样的问题。01大模型训练或部署中的问题在学习大模型训练和部署的过程中，很多人都是按照网络上的教程进行学习；但这些教程大部分只讲了浅显的东西，还有很多问题没有讲明白。比较明显的两个问题就是，大模型的规模问题和大模型的适配问题。
使用vllm多节点多卡部署大模型
qq_15060477的博客
02-22 2234
要在多节点多卡的环境中部署一个大模型，可以使用（Very Large Language Model）框架。vLLM 是一个高效的推理和服务框架，特别适合大规模语言模型的部署。
从源码分析 vllm + Ray 的分布式推理流程
阿里技术
06-12 8653
随着 LLM 模型越来越大，单 GPU 已经无法加载一个模型。以 Qwen-14B-Chat 模型为例，模型权重大概 28GB，但是单个 NVIDIA A10 仅有 24GB 显存。如果想要在 A10 上部署 Qwen-14B-Chat 模型，我们需要将模型切分后部署到 2 个 A10 机器上，每个 A10 卡加载一半的模型，这种方式称之为分布式推理。社区涌现了很多支持分布式推理的框架如 vllm、deepspeed-mii，rtp-llm 等。
vllm部署的一些思考
andeyeluguo的博客
07-30 647
事实上，生产中的分布式推理，是 用k8s等进行管理，每个模型在一个容器中而已，如一个7b的模型占用一个GPU，作为一个node，而不是把模型分布式，是把服务分布式。但是这种方式只是把非常大的模型如lamma 3.1 ，这个模型有405b，需要用多机多卡的方式进行分布式。vllm号称利用ray支持多机多卡的方式，链接如下。常用的有xinference，还有各种k8s的集成。
vllm启动 DeepSeek-R1-Distill-Llama-70B-Q4
02-16
### 启动 DeepSeek-R1-Distill-Llama-70B-Q4 模型 为了启动 `DeepSeek-R1-Distill-Llama-70B-Q4` 模型，需遵循特定的环境准备和操作流程。考虑到该模型的巨大规模（70B参数），对计算资源有较高需求。 #### 环境准备 确保计算机满足最低硬件要求：至少拥有16GB内存和8GB显存[^2]。对于如此大规模的模型，建议使用具备更多GPU显存的专业级设备或云端服务来保障稳定性和效率。 #### 安装依赖项 安装必要的软件包和支持库之前，先确认操作系统版本并选择对应的安装指南部分： ##### 对于Windows用户： ```powershell pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 pip install transformers accelerate bitsandbytes ``` ##### 针对Linux平台： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 pip install transformers accelerate bitsandbytes ``` ##### macOS环境下： 由于macOS原生支持有限，推荐通过Docker容器化方式部署，具体步骤可参照官方文档说明。 #### 获取与加载模型 完成上述准备工作之后，可以继续执行如下Python脚本片段以实现模型实例化及推理过程初始化： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "DeepSeek-R1-Distill-Llama-70B-Q4" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained( model_name_or_path, device_map="auto", # 自动分配至可用CUDA设备上 ) def generate_text(prompt): inputs = tokenizer(prompt, return_tensors='pt').to('cuda') outputs = model.generate(**inputs, max_length=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(result) generate_text("你好世界") ``` 此段代码实现了从Hugging Face Hub拉取预训练权重文件，并利用这些权重构建了一个用于文本生成的任务管道。最后定义了一个简单的函数用来展示基于给定提示词生成回复的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值