ubuntu下ollama/vllm两种方式在本地部署Deepseek-R1

最新推荐文章于 2025-11-02 17:49:01 发布
原创 最新推荐文章于 2025-11-02 17:49:01 发布 · 2.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ubuntu #linux #运维 #人工智能 #deepseek #ollama #vllm

部署运行你感兴趣的模型镜像

1.前言

今年过年，deepseek一下子爆火，导致我前段时间好好用的官网直接挤爆了，一直转圈圈到没心思过了，天天挂热搜，直接导致我的科研工作受阻（dog），好吧，话不多说，看看怎么在本地部署deepseek丝滑享受以及白嫖一下api体验>_<!
部署环境：
系统：ubuntu22.04
显卡：一张4090,24G显存

2.vllm部署deepseek-R1-8B

2.1 vllm安装

conda create -n vllm python==3.11
conda activate vllm
pip install vllm

2.2 模型下载

直接去HF官网找到官方发布的模型仓库https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/tree/main，可以自己用浏览器下载或者迅雷下载（我觉得这个快一点）亦或者HF提供的下载方式

# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

下载路径随意

2.3 使用 vLLM 启动推理服务

python -m vllm.entrypoints.openai.api_server --model <你下载的模型的路径>  --served-model-name <Deepseek-R1-8B> --max-model-len=16384 --trust-remote-code

部署结束

3.ollama部署deepseek-R1-32B

3.1下载安装ollama

直接搜索ollama官网，首页直接下载，
在这里插入图片描述
在这里插入图片描述
ollama在linux上的下载命令如下：

curl -fsSL https://ollama.com/install.sh | sh

有时候可能下载会中断，按照下面的方法修改可以解决：

# 下载安装脚本
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

# 给脚本添加执行权限
chmod +x ollama_install.sh

# 使用github文件加速替换github下载地址
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh

#执行下载
sh ollama_install.sh

安装之后默认是会自动运行的

3.2部署运行指定模型

在ollama的网页中，直接点到models页面，搜索指定模型，然后进入页面，复制运行部署模型的命令
在这里插入图片描述

ollama run deepseek-r1:8b

接下来就是漫长的等待过程，等待模型下载完成，有时候可能会碰到网速先高后低的情况，断掉重新下载就可以，ollama可以断点续传。
如果不想这么操作，欢迎看这篇博文ollama模型一键满速下载

4.效果展示

4.1写个计算器试试

满血版V3的效果：
在这里插入图片描述
本地部署的Deepseek-R1-8B的效果：
在这里插入图片描述
在这里插入图片描述
本地部署的Deepseek-R1-14B的效果：
在这里插入图片描述
可以直观的看到不同参数量的表现了，本地部署14B及以下的看来只能玩玩了

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 6052
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
大模型推理加速框架vllm部署的实战方案
热门推荐
herosunly的博客
11-25 3万+
本文主要介绍了大模型推理加速框架vllm部署的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行vllm
ubuntu系统vllm部署deepseek-70B(DeepSeek-R1-Distill-Llama-70B)
qq_38988216的博客
02-14 7201
假设下载到 ~/Downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。--served-model-name deepseek-70b # API中的模型名称。--gpu-memory-utilization 0.85 \ # 显存利用率。--trust-remote-code \ # 如果模型需要自定义代码。# 例如DeepSeek-R1-Distill-Llama-70B模型。# 例如deepseek-r1-awq量化模型。
【LLM】vLLM部署与int8量化
weixin_49816179的博客
01-09 2万+
介绍了vLLM原理并讲解如何支持peft，对不同的decoding methods进行了说明，同时详述了int8量化的过程。
在 Ubuntu 系统中基于 Miniconda 安装 VLLM 并启动模型 + Dify 集成指南
2501_93651177的博客
11-02 1484
本文详细介绍了在Ubuntu系统中使用Miniconda安装VLLM大模型推理框架的完整流程。主要内容包括：1）创建Python3.12虚拟环境并安装VLLM；2）两种模型启动方法详解（命令行服务和Python调用）及参数配置；3）Docker部署的Dify平台集成VLLM模型的具体步骤；4）常见问题排查和性能优化建议。文章提供可直接复制的命令和参数解释，涵盖从环境准备到生产部署的全流程，特别是针对多GPU配置、内存优化、Dify集成等关键环节给出了实用解决方案。
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 8784
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
在Ubuntu 20上使用vLLM部署DeepSeek大模型的完整指南
Michael的博客
02-22 7167
前言随着大语言模型（LLM）的快速发展，如何高效部署和运行这些模型成为开发者关注的重点。本文将演示在Ubuntu 20系统环境下：使用huggingface-cli下载DeepSeek模型通过vLLM实现高性能模型推理创建简单的API服务环境准备系统要求NVIDIA显卡驱动 ≥ 515.48.07CUDA 11.8+基础依赖安装。
DeepSeek-R1 的部署方式 方式1：本地部署（主要方式） 根据搜索结果，DeepSeek-R1 主要设计用于本地部署： 硬件要求 模型版本 参数规模 GPU显存需求 推荐GPU 内存需求 DeepSeek-R1-1.5B 15亿 1.1GB 集成显卡或CPU 4GB DeepSeek-R1-7B 70亿 4.7GB RTX 4050 8GB DeepSeek-R1-14B 140亿 9.0GB RTX 4070 Ti 16GB DeepSeek-R1-32B 320亿 20GB RTX 4090 32GB DeepSeek-R1-70B 700亿 43GB 多块GPU 64GB 本地部署步骤 # 方式1：使用 Ollama（最简单）ollama pull deepseek-r1:7bollama run deepseek-r1:7b# 方式2：使用 vLLM（高性能）pip install vllmvllm serve deepseek-ai/deepseek-llm-r1-7b-chat# 方式3：使用 Transformers（灵活）from transformers import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-r1-7b-chat")model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-r1-7b-chat") 本地部署后提供 API # 使用 FastAPI 创建本地 API 服务from fastapi import FastAPIfrom transformers import AutoTokenizer, AutoModelForCausalLMapp = FastAPI()# 加载模型tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-r1-7b-chat")model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-r1-7b-chat")@app.post("/chat")async def chat(prompt: str): inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=100) return {"response": tokenizer.decode(outputs[0])}# 运行服务# uvicorn main:app --host 0.0.0.0 --port 8000 方式2：通过第三方平台使用 API（无需本地部署） 如果不想本地部署，可以通过第三方平台使用： 1. 硅基流动（Silicon Flow） from openai import OpenAI# 通过硅基流动使用 DeepSeek-R1client = OpenAI( api_key="your-siliconflow-key", base_url="https://api.siliconflow.cn/v1")response = client.chat.completions.create( model="deepseek-r1", # 或 "deepseek-llm-r1-7b-chat" messages=[{ "role": "user", "content": "你的问题" }]) 2. 其他第三方平台 火山引擎 阿里百炼 华为 ModelArts 两种方式对比 方式 是否需要本地部署 硬件要求 成本 数据隐私 推荐度 本地部署 ✅ 需要 需要GPU 一次性硬件成本 ✅ 完全私有 ⭐⭐⭐⭐ 第三方平台API ❌ 不需要 无需硬件 按使用付费 ⚠️ 数据上传云端 ⭐⭐⭐ 关于 PDF 图片解析 DeepSeek-R1 的限制 ❌ DeepSeek-R1 是纯文本模型，不支持 PDF ❌ 不支持图片解析 ✅ 只支持文本处理 如果需要 PDF 图片解析 应该使用： DeepSeek-VL（多模态模型，支持图片） 或使用其他多模态模型（GPT-4o、Claude、Gemini） 总结 DeepSeek-R1 的部署方式 方式1：本地部署（主要方式） ✅ 需要本地部署 ✅ 需要 GPU 硬件 ✅ 数据完全私有 ✅ 可以自建 API 服务 方式2：第三方平台 API（无需本地部署） ✅ 无需本地部署 ✅ 无需硬件 ⚠️ 数据上传云端 ✅ 直接调用 API 关于 PDF 图片解析 DeepSeek-R1 不支持 PDF 图片解析（纯文本模型） 如果需要 PDF 图片解析，使用 DeepSeek-VL 或其他多模态模型
最新发布
12-09
下面我们将详细说明这两种部署方式，并提供相关指导。 </think> 根据引用内容，DeepSeek-R1 的部署方式主要有以下三种类型： --- ### 1. 本地桌面部署（适合个人开发者/中小型企业） **特点**： - 部署在个人...
如何用LattePanda Mu部署DeepSeek-R1蒸馏模型？
sinat_37627400的博客
02-12 1265
在大语言模型的训练过程中，如何有效提升推理能力，一直是科研人员关注的重点。传统的推理模型通常依赖大量数据和计算资源，但通过调整计算策略和训练方法，许多模型的表现得以显著改善。这一思路，最终催生了DeepSeek的突破性进展——DeepSeek-R1模型。DeepSeek-R1并不仅仅是一个简单的语言模型，它通过创新性的训练方法，特别是将强化学习（RL）应用于基础语言模型的推理训练，取得了令人瞩目的成果。
LangChain+RAG+Agent本地部署DeepSeek-R1商用级知识库，完美实现低代码可视化流程编排
ibrahim的博客
02-19 1976
你相信单张RTX 4090也能部署商业级AI知识库吗？本文详细解析了如何利用DeepSeek-R1与RAG技术，在一张4090显卡上完成部署，打造出低代码可视化编排的企业级知识库系统。点击阅读，领略全流程实战经验，开启你的AI部署新纪元！
如何本地部署DeepSeek：从零实现AI模型私有化部署
Genio_Wang的博客
04-03 682
本地部署DeepSeek可兼顾数据隐私与定制化需求，个人用户推荐Ollama方案快速上手，开发者或企业可基于vLLM或分布式框架实现高性能推理。部署时需注意模型真实性（避免误用蒸馏版）与硬件适配性，进阶用户可探索多模态交互与自定义知识库功能。
我终于本地部署了DeepSeek-R1（图文全过程）
giszz的博客
03-11 3912
本地化部署deepseek全记录，含图文详情。
【大模型】Ubuntu下安装ollama，DeepSseek-R1:32b的本地部署和运行
magic_ll的博客
02-07 5892
性能提升：经过蒸馏的 Qwen-32B 在多个基准测试中表现出色，例如在 AIME 2024 上得分 72.6%，在 MATH-500 上得分 94.3%，在 LiveCodeBench 上得分 57.2%。Qwen-32B 是学生模型：它是一个参数量较小的模型，通过学习 DeepSeek-R1 的输出来提升自己的推理能力。通过这种知识蒸馏的方式，DeepSeek-R1 的推理能力被高效地迁移到了 Qwen-32B 中，使得 Qwen-32B 在推理任务上能够达到与 DeepSeek-R1 相当的性能。
Ubuntu24.04使用 vLLM 部署本地 DeepSeek 模型与开机启动
qq_30345409的博客
05-27 1553
参数会在环境中预装 pip 和 setuptools，确保基础工具可用。这个过程可能需要几分钟，因为 vLLM 包含了许多深度学习相关的依赖。安装完成后，重新加载终端环境或执行。使 UV 命令生效。
ubuntu使用vLLM+openweb-ui安装deepseek
weixin_58250887的博客
03-10 546
ubuntu使用vLLM+openweb-ui安装deepseek
基于vLLM部署企业级DeepSeek大模型
秃了也弱了
03-07 3660
Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型（LLM）高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括：1、PagedAttention 技术：vLLM 引入了 PagedAttention 算法，通过分页管理注意力机制中的键（keys）和值（values），有效解决了传统方法中显存碎片化和过度预留的问题。
基于 vLLM 搭建 DeepSeek-V2 Chat 服务
木尧大兄弟
05-23 4235
vllm 启动 DeepSeek v2 chat 服务
生产环境vLLM 部署 DeepSeek，如何调优，看这里
yxkong的专栏
03-14 2680
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。
DeepSeek-基于vLLM部署
03-08 1577
虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。
ubuntu 基于Ollama部署Deepseek-r1
02-25
### 安装和配置Ollama Deepseek-r1 #### 下载并安装Ollama 对于Ubuntu系统而言，可以通过官方渠道获取Ollama的安装文件。访问官方网站(https://ollama.ai/download)，找到适合Linux系统的安装包进行下载[^1]。 ```bash wget https://ollama.ai/path/to/linux-installer.deb # 假设为Debian包形式 sudo dpkg -i linux-installer.deb # 安装deb包 ``` #### 启动服务 一旦安装完毕，启动Ollama的服务以便后续能够顺利调用大模型： ```bash docker run --name ollama -d --restart=always --gpus=all \ -v /data/docker/ollama:/root/.ollama -p 11434:11434 ollama/ollama ``` 此命令会创建一个名为`ollama`的容器实例，并将其绑定到主机端口11434上，同时分配所有可用GPU给该应用使用[^4]。 #### 获取并运行Deepseek-r1模型 当确认Ollama已经正常工作之后，就可以准备加载所需的大型预训练模型——这里是指定版本号为`:32b`的`deepseek-r1`: ```bash ollama run deepseek-r1:32b # 如果尚未下载则自动拉取最新版 ``` 这一步骤将会检查本地是否存在指定标签(`:32b`)下的`deepseek-r1`镜像；如果不存在的话就会尝试从远程仓库中抓取最新的副本。完成之后便可以直接通过API接口或者其他方式与其互动交流了[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不是吧这都有重名

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值