DeepSeek-单机多卡折腾记

最新推荐文章于 2025-05-10 12:12:15 发布
原创 最新推荐文章于 2025-05-10 12:12:15 发布 · 1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器 #deepseek #云原生

1.DeepSeek部署-Win版本

2.DeepSeek部署-Linux版本

3.DeepSeek部署-一键部署(Linux版本)

4.DeepSeek部署-进阶版本(Linux+GPU)

5.DeepSeek部署-基于vLLM部署

6.DeepSeek部署-部署Open WebUI

7.DeepSeek部署-容器化(Docker)部署vLLM和Open WebUI

8.DeeSeek部署-多机多卡集群部署

前面我们从单机到集群，从Win到Linux都已经涉及，但是没涉及到单机多卡，本篇文章就来说说这个单机多卡遇到的问题。

本次环境是4张卡Tesla V100卡。

1.只能用1张卡

ollama是使用官方脚本安装的，ollama是以systemctl方式启动，下载的是deepseek-r1:32b模型，启动以后发现只使用了22G显存，实际上只用了1张卡，其他卡未使用。

图片

如果要使用4张卡则需要按照下面的方式调整配置，或者跑更大的模型，如果超过单张卡GPU显存限制，则会自动分配到所有显卡上面，不需要做任何特殊配置。

vi /etc/systemd/system/ollama.service
#增加下面2个参数
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_SCHED_SPREAD=1"
#重新加载ollama
systemctl daemon-reload
systemctl restart ollama
#然后重启模型
ollama run deepseek-r1:32b

图片

2.模型自动退出

模型启动以后，如果自动退出(默认时间是5分钟)，但是你提问的时候他会自动拉起(中途需要反应时间)，这样会降低响应速度。​​​​​​​

#日志里面大概会有类似的日志
"new model will fit in available VRAM, loading" model=/usr/share/ollama/.ollama/models/blobs/sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 library=cuda parallel=4 required="49.9 GiB"
#设置-1则永不退出，也可以设置其他具体时间，比如1h。
#再参考刚才 重启服务即可常驻
Environment="OLLAMA_KEEP_ALIVE=-1"

​​​​​​​

3.单机运行多模型

机器下载了多个模型，运行其中一个模型以后，再开启另外一个模型。​​​​​​​

root@localhost:~# ollama ls
NAME                                 ID              SIZE     MODIFIED     
deepseek-r1:32b                      38056bbcbb2d    19 GB    3 hours ago     
deepseek-r1:32b-qwen-distill-fp16    141ef25faf00    65 GB    19 hours ago    
deepseek-r1:70b                      0c1615a8ca32    42 GB    20 hours ago  

图片

4.Open WebUI 提问拉起模型

部署ollama以后，他会自动开机启动；再部署好容器化的Open WebUI(也配置了开机自启动)。这个时候我们把这个机器重启（模型未启动），我们可以通过Open WebUI访问到模型并进行提问，这个时候模型就会自动启动，然后等待模型启动以后，他就会自动回答我的问题(需要等待模型启动的时间)。

运维小路

一个不会开发的运维！一个要学开发的运维！一个学不会开发的运维！欢迎大家骚扰的运维！

关注微信公众号《运维小路》获取更多内容。

开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
开源模型应用落地-Qwen2-7B-Instruct-Lora与vllm-单机多卡-RTX 4090双卡（十五）
热门推荐
以微薄之力，予他人些许温暖.
08-12 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct和Lora权重
DeepSeek大模型一键部署解决方案：全平台多机分布式推理与国产硬件优化
02-13
内容概要：本文介绍了一款名为GPUStack的开源项目，该项目专注于简化大模型DeepSeek R1及其变体（蒸馏、量化）的私有化部署流程。随着DeepSeek R1走红，私有部署需求激增，但市场上现有的解决方案往往操作繁琐、缺乏灵活性以及未能很好地支持国产芯片。而GPUStack解决了这些问题。对于桌面和生产两大主要应用场景的支持尤为出色——无论是运行小参数模型还是高并发环境中的超大型模型，甚至是国产AI加速器，GPUStack都可以无缝适配。 适合人群：希望进行大模型私有化部署的技术人员，尤其是那些正在寻找简化配置方法并希望通过集成不同类型GPU硬件提高工作效率的人群。对于想要深入了解异构计算环境中部署策略的研究者也非常有用。 使用场景及目标：①帮助开发者简化大型语言模型或其他生成式AI应用的本地或云端部署过程；②实现在资源受限条件下（比如普通PC或笔记本电脑）高效运行较小尺寸的语言模型或者图像生成模型的任务；③构建高效的生产环境以支持复杂的机器学习任务，如大规模文本生成服务；④促进国内自主品牌的智能计算机生态建设，推动基于本土芯片的设计创新。
4090单卡部署DeepSeek：中小企业本地化成本骤降32倍实战指南.pdf
02-14
在日常的工作和学习中，你是否常常为处理复杂的数据、生成高质量的文本或者进行精准的图像识别而烦恼？DeepSeek 或许就是你一直在寻找的解决方案！它以其高效、智能的特点，在各个行业都展现出了巨大的应用价值。然而，想要充分发挥 DeepSeek 的优势，掌握从入门到精通的知识和技能至关重要。本文将从实际应用的角度出发，为你详细介绍 DeepSeek 的基本原理、操作方法以及高级技巧。通过系统的学习，你将能够轻松地运用 DeepSeek 解决实际问题，提升工作效率和质量，让自己在职场和学术领域脱颖而出。该文档【4090单卡部署DeepSeek：中小企业本地化成本骤降32倍实战指南】共计 20 页，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。
【部署满血Deepseek-R1/V3】大型语言模型部署实战：多机多卡DeepSeek-R1配置指南
最新发布
qq_17405059的博客
05-10 1906
本文详细介绍了大型语言模型DeepSeek-R1的多机多卡部署实践，重点包括硬件资源配置、性能优化、Docker部署指令模板以及高级优化配置。通过使用H100或H800显卡，每两台机器部署一个模型，可实现约20 token/s的吞吐量。文章还提供了性能数据参考，展示了不同输入长度和并发请求下的表现。此外，介绍了SG-Lang多机多卡部署的关键优化参数、内存管理策略、推测解码优化和网络优化方法。最后，对比了vLLM、ktransformers和Unsloth等其他推理架构，并提供了常见问题的解决方案和镜像管理
Vllm部署deepseek 单机多卡部署
m0_71833495的博客
03-26 951
调用curl http://127.0.0.1:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "自己下载模型位置", "prompt": "你好", "max_tokens": 1000, "temperature": 0 }'用anaconda conda环境部署 前提是装好anaconda（在Linux系统中）并且下载模型到自己的指定位置。创建一个conda环境 与系统环境隔离 避免驱动什么的冲突。
Deepseek VL2 多卡部署
lvchaofan0101的博客
12-31 4138
Deepseek VL2 多卡部署
DeepSeek-多机多卡集群部署
03-12 2230
前面我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。
分布式训练 - 单机多卡（DP和DDP）
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
ollama+open-webui本地部署deepseek（单机多卡、自定义模型路径）
weixin_43222910的博客
03-05 1068
ollama+open-webui本地部署deepseek（win/linux、单机多卡、自定义模型路径）
【分布式训练】单机多卡（一）：理论基础
sage_wang的博客
07-13 923
最近由于有模型训练的任务，老板对已有的单机单卡模型训练的时间不满意，觉得炼丹周期太长，让我用单机多卡来对模型训练进行优化加速。这两天看了点知乎、csdn、stackoverflow上面相关的文章和问题，发现里面的坑还不少。 今天，我就给大家排排坑，介绍一下如何将已有的模型训练转成单机多卡的形式，来进行分布式训练。 1、总分 分布式训练分为这几类： l按照并行方式来分：模型并行 vs 数据并行 l按照更新方式来分：同步更新 vs 异步更新 l按照分布式训练系统架构来分：Parameter Server Arc
单机多卡训练-DDP
vivi_cin的博客
12-17 1054
DDP通过Ring-Reduce（梯度合并）的数据交换方法提高了通讯效率，并通过启动多个进程的方式减轻Python GIL的限制，从而提高训练速度。，建议在保存模型时，去除模型参数字典里面的module，如何去除呢，每一个epoch里面真正的打乱数据。增大batch size提高并行度。
DeepSeek-V2-Chat多卡推理(不考虑性能)
Hi20240217的博客
06-12 1392
本文演示了如何使用accelerate推理DeepSeek-V2-Chat(裁剪以后的模型,仅演示如何将权值拆到多卡)
本文基于DeepSeek-V2-Chat多卡推理,演示了几种不同的Profing方法
Hi20240217的博客
06-13 1万+
本文基于DeepSeek-V2-Chat多卡推理,演示了几种不同的Profing方法。
单机多卡并行（李沐老师课程）
2401_87085787的博客
09-13 381
数据并行：将小批量的数据分成n块，每个GPU拿到完整参数，各自计算一块数据的梯度。图片中显示了四个GPU，它们从key-value存储中获取参数，计算各自的梯度，然后发送梯度回主节点。在训练和预测过程中，我们将一个小批量的数据分配给多个GPU，使得计算能够同时进行，达到加速的目的。通道并行（数据+模型并行）：结合上述两种方法，既对数据也对模型进行划分，以最大化利用GPU资源。模型并行：将模型分割为几个部分，在不同的GPU上运行，通常是将前向传播阶段分布在多个GPU上。这样的过程循环进行，直到训练结束。
Pytorch单机多卡训练
love1005lin的博客
04-26 1173
pytorch中单机多卡可以使用DataParallel和DistributedDataParallel 来实现。 pytorch官网中推荐使用DistributedDataParallel。两者区别是： DataParallel是单进程多线程控制GPU的实现方式，因此只能在一台机器上使用，而DistributedDataParallel则是多进程控制GPU，除了能实现单机多卡外，也能够实现分布式训练。 DataParallel一般会比DistributedDataParallel慢 Distributed
深度学习单机多卡/多机多卡训练
slamer111的博客
09-06 2129
感知秋招面经：多机多卡你用过吗？
蓝耘智算平台多机多卡分布式训练DeepSeek模型全流程指南
倔强的石头的博客
02-13 1万+
本文详细讲解如何在蓝耘智算平台上搭建多机多卡分布式训练环境，以DeepSeek模型为例，覆盖网络配置、通信优化、并行策略选择、资源管理与监控等核心环节，助力开发者高效实现大模型训练任务
pytorch中的单机多卡和多机多卡
liguandong
09-22 4254
pytorch 单机多卡的正确打开方式pytorch 使用单机多卡，大体上有两种方式简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好)使用 torch.distributed 加速并行训练(推荐，但是不友好)首先讲一下这两种方式分别的优缺点nn.DataParallel优点：就是简单缺点就是：所有的数据要先load到主GPU上，然后再分发给每个GPU去train，注意这时候主GPU的显存占用很大，你想提升batch_size,那你的主GPU就会限制。
deepseek-vl2多卡
02-11
### 配置DeepSeek-V2的多GPU设置 为了使DeepSeek-V2能够在多个GPU上运行，通常会采用PyTorch内置的支持工具来实现这一点。下面是一个具体的例子说明如何配置： ```python import torch from deepseek_model import DeepSeekModel def setup_multi_gpu(model, device_ids=None): """ 设置模型以支持多GPU并行计算。 参数: model (torch.nn.Module): 要分配到多个GPU上的神经网络模型实例。 device_ids (list of int or NoneType): GPU设备ID列表；如果为None，则默认使用所有可用的GPU。 返回值: torch.nn.DataParallel 或者 原始model对象: 如果有超过一个GPU被指定或检测到，则返回包裹好的DataParallel模块； 否则直接返回原始model对象。 """ if not isinstance(device_ids, list) and torch.cuda.device_count() > 1: print(f"Using {torch.cuda.device_count()} GPUs!") return torch.nn.DataParallel(model) elif isinstance(device_ids, list) and len(device_ids) >= 2: print(f"Using specified GPUs with IDs: {device_ids}") return torch.nn.DataParallel(model, device_ids=device_ids) else: print("Only one GPU detected/selected.") return model # 创建模型实例 model = DeepSeekModel() # 将模型转换成适合多GPU的形式 multi_gpu_model = setup_multi_gpu(model=model) # 加载预训练权重 state_dict = torch.load('deepseek_model.pth') multi_gpu_model.module.load_state_dict(state_dict) if hasattr(multi_gpu_model,'module') else multi_gpu_model.load_state_dict(state_dict) # 切换至评估模式 multi_gpu_model.eval() ``` 这段代码展示了怎样通过`torch.nn.DataParallel`类让DeepSeek-V2能够利用多个图形处理器加速运算过程[^2]。当存在两个以上的GPU时，程序会选择所有的可见GPU来进行分布式处理；也可以手动指定想要使用的特定GPU集合。需要注意的是，在保存和加载状态字典的时候要考虑到是否使用了`DataParallel`封装器的影响[^1]。 #### 注意事项 - **内存管理**：随着参与工作的GPU数量增加，每张卡上面所承载的数据量可能会减少，但是总的显存消耗依然很高。因此建议监控系统的资源占用情况，并适当调整批量大小(batch size)，以免超出硬件的能力范围。 - **同步机制**：在某些情况下可能需要引入额外的参数更新策略（比如梯度累积），因为不同步可能导致各节点间的学习率差异过大影响最终效果。 - **性能优化**：尽管多GPU确实能带来速度上的优势，但在实际部署过程中还需要考虑诸如通信开销等因素对整体效率造成的影响。可以通过实验测试找到最适合当前环境的最佳实践方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值