本地部署DeepSeek R1搭建个人专用知识库

一直在思考如何利用AI大模型提升工作效率,但由于工作环境的限制,一直处于观望状态,未能实际操作。最近,随着DeepSeek的走红,网上关于本地部署大模型和构建个人专用知识库的相关视频越来越多,这让我看到了希望。由于工作的特殊性,我无法将文档资料上传到公有云或使用类似ChatGPT的大模型,因此一直希望能在本地部署大模型,无需联网,就能训练自己的数据并构建专属知识库。这样,无论是查找资料还是快速生成报告,都能更加精准和高效。近期,我查阅了大量相关文献,并整理了关于本地部署DeepSeek R1搭建个人知识库的内容。

方法一

一、安装Ollama

1、Ollama官网下载

Ollama官网客户端下载链接[https://www.ollama.com/download]
根据操作系统进行选择
在这里插入图片描述

2、打开命令行

使用键盘的win键 + R键,输入cmd,打开命令行窗口,在命令行里输入ollama。
在这里插入图片描述
出现提示词,安装成功

二、选择模型

1、在Ollama官网库选择模型

在Ollama官网库[https://www.ollama.com/library/] 可以选择要使用的模型
在这里插入图片描述
671b就是通过deepseek官网能够体验上的最强模型,这里推荐使用70b32b的模型,这两个模型的效果足够满足日常需求了

2、下载DeepSeek大语言模型

ollama run deepseek-r1:32b
ollama list

查看已经下载好的模型

ollama run deepseek-r1:32b

运行模型

三、利用Chatbox可视化

1、Chatbox下载

Chatbox中文官网地址:https://www.chatboxai.app/zh

Chatbox官方GitHub下载网址:https://github.com/Bin-Huang/chatbox/releases

Chatbox网页版:https://web.chatboxai.app

在这里插入图片描述

2、配置模型

(1)打开Chatbox软件
(2)点左下角齿轮图标(设置)
(3)点击「模型提供方」下接菜单,这里选择「Ollama」
(4)在「API域名」框中,自动填充了http://localhost:11434,如果没有自动填充,或者还安装了其他模型,请手动填充。
(5)选择模型,在「模型」下拉菜单中,选择 deepseek-r1:1.5b,根据自己运行的模型选择。
(6)其他「显示」「对话」「其他」选项,保持默认就可以了,根据情况修改,最后点击「保存」。

3、使用DeepSeek可视化界面

在这里插入图片描述

4、上传私有知识库

方法二

一、安装前端工具AnythingLLM

1、AnythingLLM官网下载

下载地址:https://anythingllm.com/desktop
选择适合自己操作系统的版本
在这里插入图片描述

2、安装AnythingLLM

在这里插入图片描述
在这里插入图片描述

二、安装大语言模型

1、选择Ollama

这里选择Ollama并且选择 deepseek-r1:1.5B,这里选择已经安装的模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、配置工作区

在这里插入图片描述

3、配置完成

在这里插入图片描述

四、上传私有知识库

1、点击上传按钮

在这里插入图片描述

在这里插入图片描述

2、上传智库文件

在这里插入图片描述

3、移动到工作区

在这里插入图片描述

4、嵌入大模型

在这里插入图片描述
在这里插入图片描述

5、固定到工作区

在这里插入图片描述
在这里插入图片描述

6、效果对比

①未上传私有知识库的回答
在这里插入图片描述
②上传私有知识库的回答

在这里插入图片描述

内容概要:本文档详细介绍了 DEEP SEEK 的本地部署及其与私有知识库整合的具体步骤。主要包括两大部分:Ollama 平台的使用方法和 DeepSeek R1 模型的安装指导。Ollama 是一种能够便捷部署深度学习模型(尤其是大型语言模型)的工具,它支持多种操作系统并在命令行中执行相应操作以完成从下载、配置直至实际使用的全过程。文中针对不同硬件条件给出了具体配置推荐,并逐步讲解了从安装 Ollama 到运行特定大小版本 DeepSeek 模型(如 1.5b 至 70b),再到设置 API 键连接云端服务以及最后利用 Cherry Studio 构建个人专属知识库的一系列操作指南。同时附上了多个辅助资源如视频教程、在线演示平台链接以便更好地理解和学习整个过程。 适合人群:适合有一定技术背景且想探索本地部署人工智能模型的初学者或是希望通过本地部署提高效率的研发团队。 使用场景及目标:一是帮助用户了解并掌握在本地环境中配置高性能 AI 工具的全流程操作;二是使用户能够根据自己拥有的计算资源情况合理挑选合适的模型大小;三是通过集成私有知识库为企业内部提供定制化的问答或咨询系统,保护敏感数据不受公开访问威胁。 其他说明:考虑到安全性和稳定性因素,作者还提供了应对潜在风险如遭遇网络攻击时选用可靠替代源——硅基流动性 API 来保障服务持续稳定运作,并强调在整个实施过程中应谨慎处理个人信息及企业关键资产以防泄露事件发生。此外,提到对于更高级的功能例如基于 Ollama 实现本地知识库还有待进一步探讨和发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客范儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值