DeepSeek-R1模型本地部署教程

最新推荐文章于 2025-05-30 20:30:40 发布
最新推荐文章于 2025-05-30 20:30:40 发布
阅读量983 收藏 9
点赞数 6
CC 4.0 BY-SA版权
文章标签： 自然语言处理 llm ollama deepseek python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zdl66/article/details/145681036

ollama

下载

ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。

Ollama目前支持以下大语言模型：https://ollama.com/library

下载地址：Ollama

安装完后可以看命令行是否安装成功

模型选择

搜索deepseek-r1

选择模型推理模式

模型大小和显卡、内存资源表格

本机用的mac m4芯片 16+512配置，可以使8B模型流畅运行

然后选择适合本机的模型大小命令在终端运行。

安装好后就可以使用模型了

输入/bye可退出命令行

chatbox

虽然终端可以直接运行，但是不方便。这里推荐chatbox

Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

安装地址：Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

也可以使用在线版本

点击设置

进行如下配置

开启新对话就可以直接使用了！

模型差异

这里就用豆包（在线）和deepSeek-r1 8b（本地）来做一个比较。

学术问题

勾股定理

豆包

deepSeek-r1

代码问题

CAS

豆包

deepSeek-r1

逻辑问题

喜欢装好人的王老汉被警察发现家里冰柜装满了好人，那他是不是好人

豆包

deepSeek-r1

差异

相比于线上给用户使用的豆包，本地部署的deepSeek-r1会把自己的思考过程给写出来，也就是它应该如何去回答用户提出的问题。

资源占用情况

本地使用deepSeek-r1 8b模型生成对话，后台占用资源情况。

内存

cpu

        

【从零到一，如何搭建本地AI大模型】
爱码社长，从拧螺丝到造火箭，一步步带你飞
07-08 2261
本文主要记录这一段时间对本地大模型搭建的心得。作为一个资深程序员，在AI席卷全球的时候，深深感觉到了一丝危机感，不禁有一个想法不断在脑海闪现：我会不会真的哪一天被AI给取代了？在主页，你可以选择你要下载的大模型，然后下载。下载半天你会发现，下载不了，爆红了：此时不要着急，找到它下载的配置文件，一般在：C:\Users\你的电脑名称.cache\lm-studio。打开下面的文件：把所有的：huggingface.co换成：hf-mirror.com。
【产品体验】豆包大模型实时语音本地化部署及功能体验
Deadwalk的专栏
04-10 3264
豆包大模型提供了实时语音功能，火山引擎官方提供了开源代码Demo，可以快速本地部署体验部署方法：注册火山引擎账号，开通RTC、TTS、ASR、火山方舟2.0模型服务在代码中配置AppId、RoomId、UserId、Token、TTSAppId、ASRAppId等参数Demo代码是基于Node.js实现，需要安装nodejs、yarn依赖安装完毕后，按照Readme中命令分别启动后端服务和前端页面即可体验感受：整体体验流畅，对话沟通非常流畅，AI的语音比较自然。
豆包吃到了大模型PC端的螃蟹？
Python_cocola的博客
06-05 2384
大模型的价格战方才平息没多久，市场上立马就有新动向涌现。据悉，字节跳动的AI助手豆包已然正式推出了PC客户端，这其实不是什么新鲜事了。实际上，只要对大模型应用稍有密切关注就会知晓，早在上个月的更新里，除了能通过传统的Web端访问，用户已然能通过桌面客户端和浏览器插件来使用豆包了。有意思的是，此前5月14日，OpenAI在其首次春季新品发布会上，推出了首个多模态生成模型GPT-4o，还同步推出了桌面App。
本地豆包私有化RAG知识库构建案例
最新发布
m0_59235945的博客
05-30 1470
表友问：看到全网都在热议自己构建个人知识库，自己也想尝试，但本身对电脑也不是太熟悉，对这些各种应用与配置又不懂。虽然网上也有很多手把教的教程与指南，整个安装配置仍是麻烦。有没有一款针对电脑小白简单一点，打开就能即用的AI知识库？
DeepSeek-R1
qq_72079637的博客
02-14 779
2025年1月，中国春节期间，DeepSeek爆火，称为全球最炙手可热的大模型。DeepSeek一路 “狂飙”，在美国科技界和美股市场掀起惊涛骇浪，1月27日，美国三大股指开盘即暴跌，英伟达、微软、谷歌母公司Alphabet、Meta等美国主要科技股均遭遇股市地震，其中英伟达跌近17%，单日市值蒸发约6000亿美元，创美股最高纪录。这里以DeepSeek为例介绍在自己本地计算机上部署大模型的方法。操作过程中，遇到很多错误，借助于豆包大模型，把每个错误都解决了，顺利完成了安装过程。
本地部署Qwen2大模型之一：Ollama方式部署
F8_11的博客
12-21 4114
字节跳动在2024年12 月 18 日举办了火山引擎 FORCE 原动力大会，会上发布了豆包视觉理解模型和豆包 3D 生成模型，引起了AI业界的一片骚动，吸引了无数AI创业者和终端用户的眼光，我也开始关注起了豆包，并尝试接入大模型，进而在本地部署Qwen2大模型。
DeepSeek本地化部署（由豆包和DeepSeek汇总生成）
Impossible==I'm possible.
03-04 3814
DeepSeek本地化部署
你想在本地部署大模型吗？本地部署大模型的三种工具
xx_nm98的博客
06-15 3408
人工智能的发展如火如荼，也让越来越多的人了解到人工智能；而对大部分人来说使用的都是第三方提供的客户端，不论是网页版，还是PC端或移动端。那么，我们怎么在本地部署一款大模型呢？下面就来介绍三种工具。
本地部署DeepSeek R1
qq_40858126的博客
02-19 985
2025年1月，中国春节期间，DeepSeek爆火，称为全球最炙手可热的大模型。这里以DeepSeek为例介绍在自己本地计算机上部署大模型的方法。操作过程中，遇到很多错误，借助于豆包大模型，把每个错误都解决了，顺利完成了安装过程。我的笔记本电脑硬件配置是，16GB内存，1TB硬盘。实际上，只要电脑具有8GB内存和30GB可用磁盘空间即可安装最小版本的DeepSeek R1大模型。
大模型本地部署保姆级教程！三种方法教会你如何部署~
热门推荐
2401_85373898的博客
10-07 3万+
今天分享下关于大模型本地部署的一些基础知识，做一个简单的入门，并科普相关的工具使用。
DeepSeek-R1最佳本地部署+知识库+联网搜索（2个安装包1条命令搞定）.pdf
02-10
为了实现DeepSeek-R1的本地部署，用户需要遵循一系列简单步骤，首先需要下载并安装两个关键组件：Ollama官方版和AnythingLLM。具体步骤包括访问提供的下载链接，下载相应的软件安装包。完成下载后，下一步是选择合适...
DeepSeek-R1推理开源源码+模型（本地部署）.zip
02-17
标题中所提及的"DeepSeek-R1推理开源源码+模型（本地部署）.zip"表明本压缩包文件包含了DeepSeek-R1项目的核心组件——推理引擎的源代码以及相关的机器学习模型文件。推理引擎通常指的是用于执行模型推理的软件组件...
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
由于DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本可能涉及复杂的计算和数据处理工作，其安装和部署可能需要在具备一定计算资源的环境下进行，例如配备高性能GPU的工作站或服务器。在安装过程中，用户...
ollama 部署 deepseek-r1 70B 模型完整指南.pdf
02-10
在部署DeepSeek-R1 70B模型的完整过程中，首先需要进行模型的下载与准备。具体操作为通过ModelScope平台下载经过量化处理的GGUF格式模型文件。推荐选择Q5_K_M量化级别，这种量化级别可以在保持94%的精度下，将模型...
DeepSeek-R1 源码 + 文档
02-08
在计算机视觉方面，DeepSeek-R1可能包含了一些用于图像分类、目标检测、图像分割和图像生成等任务的预训练模型和源代码。这些模型可能基于流行的深度学习框架，例如TensorFlow或PyTorch。开发者可以通过这些源码深入...
VScode超简单豆包MarsCode部署+初体验
OIDCAT的博客
10-23 3357
一个编程的小工具哈，官方简介豆包 MarsCode 编程助手是豆包旗下的 AI 编程助手，提供以智能代码补全为代表的 AI 功能。它支持主流的编程语言和 IDE，在开发过程中提供单行代码或整个函数的编写建议。此外，它还支持代码解释、单测生成和问题修复等功能，提高了开发效率和质量。
豆包MarsCode IDE 搭建 VitePress 博客并使用 GitHub 部署
DouBaoMarsCode的博客
09-19 1674
以下是「体验官」优秀文章，作者粥里有勺糖。
本地部署 AI 智能体，Dify 搭建保姆级教程（上）：工作流 + Agent，把 AI 接入个人微信
u010522887的专栏
08-22 2万+
Dify 本地部署：搭建工作流和智能体
豆包大模型本地部署
05-30
### 豆包大模型本地部署方法与教程 豆包大模型（DouBao Model）作为一种先进的深度学习模型，其本地化部署需要结合硬件配置、软件环境以及具体的工具链来完成。以下是关于豆包大模型本地部署的相关信息和教程： #### 1. 硬件需求 在进行本地部署前，需要确保计算机的硬件配置满足运行大模型的需求。尽管大模型训练阶段需要高昂的计算资源，但部署后的推理阶段对硬件的要求相对较低[^1]。然而，为了保证流畅运行，建议使用以下配置： - **CPU**：高性能多核处理器。 - **GPU**：推荐使用 NVIDIA GPU，支持 CUDA 和 cuDNN 的版本。 - **内存**：至少 16GB RAM，推荐 32GB 或更高。 - **存储**：足够的硬盘空间以存储模型文件和缓存数据。 #### 2. 软件环境准备 在本地部署豆包大模型之前，需要安装并配置以下软件环境： - **操作系统**：推荐使用 Linux（如 Ubuntu 20.04+）或 Windows 10/11。 - **Python**：安装 Python 3.8 或更高版本。 - **CUDA 工具包**：如果使用 NVIDIA GPU，需安装对应版本的 CUDA 驱动程序[^2]。 - **依赖库**：安装必要的 Python 库，例如 `transformers`、`torch` 和 `numpy`。 ```bash pip install transformers torch numpy ``` #### 3. 模型管理工具 为了简化模型的部署过程，可以使用专门的模型管理工具，例如 Ollama。Ollama 提供了友好的命令行界面，用于下载、加载和运行大模型[^2]。 ```bash # 安装 Ollama curl https://ollama.ai/install.sh | sh # 下载豆包大模型 ollama pull doubao-model # 运行模型 ollama run doubao-model ``` #### 4. 可视化交互工具 为了增强用户体验，可以集成可视化交互工具，例如 Open-WebUI 或 Chatbox。这些工具提供了图形化的用户界面，方便用户与模型进行交互[^2]。 ```bash # 安装 Open-WebUI git clone https://github.com/open-webui/chat.git cd chat pip install -r requirements.txt # 启动 WebUI python app.py ``` #### 5. 性能优化 为了提高模型的运行效率，可以采取以下措施： - 使用 NVIDIA 驱动和 CUDA 工具包加速推理过程[^2]。 - 对模型进行量化处理（例如 INT8 量化），以减少内存占用和提升速度。 - 配置 GPU 批量大小（Batch Size）以平衡性能和资源消耗。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer # 加载模型和分词器 model = AutoModelForCausalLM.from_pretrained("doubao-model", device_map="auto") tokenizer = AutoTokenizer.from_pretrained("doubao-model") # 推理示例 input_text = "你好，豆包！" inputs = tokenizer(input_text, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_length=50) print(tokenizer.decode(outputs[0])) ``` #### 6. 自定义安装路径 如果需要自定义模型的安装路径，可以使用打包工具将相关文件和脚本封装成可执行程序。例如，使用 PyInstaller 将 Python 脚本转换为独立的可执行文件。 ```bash # 安装 PyInstaller pip install pyinstaller # 打包脚本 pyinstaller --onefile your_script.py ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

故离ovo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值