ubuntu使用vLLM+openweb-ui安装deepseek

已于 2025-03-10 14:29:33 修改
阅读量377 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 工作日常笔记 文章标签： ubuntu ui linux
于 2025-03-10 14:28:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_58250887/article/details/146153738

主机配置：

CPU：i5 12500

内存：64G

硬盘：512SSD

显卡：4090D

系统ubuntu22.04.3

一。安装显卡驱动

1.更新包

sudo apt-get update

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI智算-K8s+vLLM & Ray：DeepSeek-r1 671B 满血版分布式推理部署实践
Kason_iWiki
04-09 833
自从上次发布 【AI-智算】K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略] 文章后，本次将演示另一个主流推理引擎工具——vLLM，结合K8s、LWS、Ray、Volcano等技术栈，部署DeepSeek-r1 671b 满血版分布式推理集群，并对比其与SGLang推理引擎的性能表现。
私有AI对话系统实战：基于Ollama+OpenWebUI的DeepSeek-R1本地化部署手把手教学（可共享访问）
qq_32358423的博客
02-16 2055
零代码实战：基于Ollama+OpenWebUI的DeepSeek-R1本地化部署指南！ 5步搭建私有AI对话系统，安全、高效、可定制！
DeepSeek-基于vLLM部署
03-08 1324
虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。
Ubuntu24.04使用 vLLM 部署本地 DeepSeek 模型与开机启动
qq_30345409的博客
05-27 1061
参数会在环境中预装 pip 和 setuptools，确保基础工具可用。这个过程可能需要几分钟，因为 vLLM 包含了许多深度学习相关的依赖。安装完成后，重新加载终端环境或执行。使 UV 命令生效。
在 Ubuntu 上安装 vLLM：从 GPU 到 CPU 的三种方案
最新发布
weixin_41544125的博客
07-14 1154
关键词：vLLM、Ubuntu、CUDA、Docker、LLM 推理vLLM 是目前社区里最快、最省显存的大模型推理框架之一。本文把官方文档、踩坑经验整理成一篇可落地的技术博客，给出——无论你手里是 A100、4090 还是纯 CPU 服务器，总有一款适合你。
在Ubuntu 20上使用vLLM部署DeepSeek大模型的完整指南
Michael的博客
02-22 6386
前言随着大语言模型（LLM）的快速发展，如何高效部署和运行这些模型成为开发者关注的重点。本文将演示在Ubuntu 20系统环境下：使用huggingface-cli下载DeepSeek模型通过vLLM实现高性能模型推理创建简单的API服务环境准备系统要求NVIDIA显卡驱动 ≥ 515.48.07CUDA 11.8+基础依赖安装。
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 8478
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
Ubuntu 手动安装 Open WebUI 完整指南
大白菜代码的博客
01-18 5664
OpenWebUI遵循开源许可证。请查看官方仓库了解详细信息。
ubuntu下open-webui + ollama本地大模型部署
ludy的博客
08-26 5194
业余兴趣，部署下最近很火的LLM大模型玩玩，现在市面做这种大模型部署的快速应用还是挺多的，比如下面这些。这里介绍采用nvidia gpu，基于ubuntu docker环境下的open-webui + ollama本地大模型部署过程。
vLLM + Open WebUI QwQ-32B docker
03-20
好的，我现在需要帮助用户解决在Docker中部署和使用vLLM结合Open WebUI QwQ-32B模型的问题。首先，我需要确认用户提到的模型名称是否正确，用户写的是“QwQ-32B”，但根据提供的引用，正确的名称应该是“Qwen-32B”...
Ubuntu 服务器Llama Factory 搭建DeepSeek-R1微调训练环境
谁念西风独自凉
02-20 2229
LLaMA-Factory 是一个强大的大型语言模型微调框架：支持多种模型：涵盖 LLaMA、LLaVA、Mistral、Mixtral-MOE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等 100 多种模型。集成多种方法：包括（增量）预训练、（多模态）监督微调、奖励建模、PPO、DPO、KTO、ORPO 等方法，满足不同任务和场景的需求。
【LLM】在PAI-DSW上使用 vLLM + Open-WebUI 部署Qwen2.5
m0_74824123的博客
12-11 2602
最近在玩LLM，听闻PAI-DSW有三个月免费试用，试了一下感觉还不错，就是有一些学习成本。刚通过vllm+open-webui成功部署了Qwen2.5-7B-Instruct，也是摸索了一段时间，记录一下以便需要使用同样方案的朋友们节省时间，迅速上手。简便起见，本文所有安装均使用pip工具，不使用docker。
在ubuntu下一键安装 Open WebUI
大白菜代码的博客
01-27 1998
如果有其他问题，欢迎随时提问！
ubuntu系统vllm部署deepseek-70B(DeepSeek-R1-Distill-Llama-70B)
qq_38988216的博客
02-14 6662
假设下载到 ~/Downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。--served-model-name deepseek-70b # API中的模型名称。--gpu-memory-utilization 0.85 \ # 显存利用率。--trust-remote-code \ # 如果模型需要自定义代码。# 例如DeepSeek-R1-Distill-Llama-70B模型。# 例如deepseek-r1-awq量化模型。
ubuntu 18 cuda 11.8 安装 vllm
07-16 1982
需要安装官方nccl。
ubuntu下ollama/vllm两种方式在本地部署Deepseek-R1
qq_41776136的博客
02-12 2178
今年过年，deepseek一下子爆火，导致我前段时间好好用的官网直接挤爆了，一直转圈圈到没心思过了，天天挂热搜，直接导致我的科研工作受阻（dog），好吧，话不多说，看看怎么在本地部署deepseek丝滑享受以及白嫖一下api体验>_<!部署环境：系统：ubuntu22.04显卡：一张4090,24G显存。
ubuntu下，模仿安装vllm,仅记录
weixin_42771529的博客
01-19 1848
指导地址。
桌面显卡RTX4070安装Ubuntu系统部署vLLM环境
衡水铁头哥的博客
03-17 1840
虽然显存够大，但是架构版本是6.1的Pascal架构，不支持FP16，需要到7.0版本的Volta架构才支持，也就是到Tesla V100这一代；开始操作之前，先介绍一下软件版本信息：vLLM的当前最高版本为0.7.4，能支持的PyTorch最高版本为2.5.1，对应的CUDA版本最高为12.4，对应的操作系统为Ubuntu 22.04 LTS，显卡驱动为550.144.03。好了，到这里，vLLM环境就准备好了，后面，我们就能下载DeepSeek模型文件来进行测试了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦年华1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值