DeepSeek R1本地私有化部署教程(Ollama+JBoltAI)

Llama-Turbo

于 2025-03-24 10:51:11 发布

阅读量1.3k

点赞数 19

文章标签：人工智能大模型 deepseek AI大模型本地化部署 ollama LLM

本文链接：https://blog.youkuaiyun.com/pythonhy/article/details/146470286

版权

使用 Ollama 本地私有化部署 DeepSeek R1 教程

嘿，小伙伴们！今天我要带大家走进 AI 的奇妙世界，手把手教你如何在本地私有化部署 DeepSeek R1 模型，让你的电脑瞬间变成一个智能小助手。

无论你是 AI 小白还是技术大牛，这篇文章都能让你轻松上手。话不多说，咱们开始吧！

一、准备工作：搭建环境

下载并安装 Ollama 首先，我们需要下载并安装 Ollama。这个工具简直是本地部署大模型的神器，操作简单，功能强大。

进入 Ollama 官网，点击页面上的 “Download” 按钮。

选择自己系统匹配的版本进行下载。

下载完成后，双击安装文件，按照提示完成安装

检查 Ollama 版本安装完成后，我们可以通过以下命令检查 Ollama 是否安装成功：

ollama -v

如果看到版本号输出，那就说明安装成功啦！

二、部署 DeepSeek R1 模型

下载 DeepSeek R1 模型接下来，我们来下载 DeepSeek R1 模型。

Ollama官网搜索deepseek，找到deepseek-r1.

这个模型有多个版本可供选择，比如 1.5B、7B、8B 等，不同版本的模型在性能和资源占用上有所不同。你可以根据自己的硬件配置选择合适的版本。

下载命令

ollama run deepseek-r1:7b

这里我们以 7B 版本为例，如果你需要其他版本，只需将 7b 替换为对应的版本号即可。

三、运行并测试模型进度条下载完成后。出现可以对话的提示。

四、应用开发对接使用Ollama+DeepSeek搭建起来的环境，是只能默认在控制台中访问和使用，没有数据的留存、解决复杂问题的能力。

企业常用的功能，例如RAG增强检索，开发AI知识库问答助手、基于ERP系统里的数据进行ChatBI等，都需要类似Java AI开发框架和Java AIGS开发平台解决方案这样的产品去构建。

深度剖析Java AI应用开发框架：Spring AI、Langchain4J与JBoltAI的全方位对比

这里用Java企业级AI应用开发平台、AIGS(AI生成服务)、Agents智能体开发框架-JBoltAI去测试。

下图是JBoltAI应用开发框架里的可视化智能体开发定制工具箱，只要用了深度思考模型，需要显示推理过程只需要配置即可，非常不错，使用DeepSeek R1 蒸馏qwen2.5 1.5B版，效果非常好！

下图是基于JBoltAI应用开发平台的智能体开发工具箱，创建的企业库存优化智能体，基于DeepSeek R1的深度思考推理能力，可以帮助企业按照库存现状进行分析和给出优化建议。

五、高级功能与优化

加速推理如果你觉得模型的响应速度不够快，可以通过以下方法进行优化：

量化模型：使用量化版本的模型，比如 deepseek-r1:32b-q4_0，可以显著降低显存占用，提升推理速度。

多线程支持：设置环境变量 OLLAMA_NUM_THREADS=8，提升模型的响应速度。

长文本与隐私场景内存优化：调整 OLLAMA_MAX_MEMORY 参数，减少内存占用。

本地知识库集成：通过 Dify 平台上传私域数据，构建定制化的 AI 助手。

六、常见问题与解决方法

显存不足如果遇到显存不足的问题，可以尝试以下方法：

使用量化模型，降低显存占用。

选择参数更小的模型版本，比如从 14B 降到 8B。

响应速度慢增加 OLLAMA_NUM_THREADS 的值，提升多线程处理能力。

确保你的硬件配置满足模型的最低要求，比如 CPU ≥ 2 核，内存 ≥ 4GB。

中文夹杂英文如果模型生成的内容中夹杂英文，可以在 Prompt 末尾添加 “请用纯中文”。

七、总结与展望通过以上步骤，相信大家已经成功在本地部署了 DeepSeek R1 模型。无论是个人学习还是企业应用，本地私有化部署都能为你带来更高效、更安全的 AI 体验。未来，随着技术的不断发展，DeepSeek R1 还将支持更多功能，比如多模态交互、更强大的上下文理解等。让我们一起期待吧！

如果你在部署过程中遇到任何问题，欢迎在评论区留言，我会尽力为大家解答。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望