前面的文章我介绍过使用 Ollama 在家里的台式机上部署本地 DeepSeek-R1 模型,我分别下载了 7b、8b、14b、32b、70b、671b 这些模型。但是很不幸的是,台式机的 CPU 是 AMD 5600G,内存 32G,只有核显,没有独立显卡,7 b、8 b 速度还算可以,14b、32b 就需要十几分钟才能回答一个问题,70b 就直接提示内存不足了。好想拥有一块英伟达 5090 独立显卡啊!
废话少说,现在回到今天的主题,利用调用Ollama 本地部署的 DeepSeek-R1 模型,使用Cherry Studio 搭建本地知识库。
## 拉取模型
除了 DeepSeek-R1 模型外,我们还要拉取一个BGE-M3 模型。 BGE-M 3 模型是由北京智源研究院(BAAI)开发的多功能语义向量模型,具备多语言支持、多粒度处理和混合检索能力,适用于复杂的信息检索场景。支持超过 100 种语言,既能处理单语言内部检索(如中文到中文),也能实现跨语言检索(如中文到英文),适用于全球化或多语言知识库需求。支持从短句到长达 8192 词符的长文档输入,覆盖“句子、段落、篇章、文档”不同粒度的文本分析,适合需要处理复杂长文本的场景(如论文、技术文档)。BGE-M 3 模型不是必须安装的,但是为了这个知识库能处理长文本还是安装一下吧。
看过我前面文章的话,应该已经学会怎么使用 Ollama 拉取模型了。命令是:ollama pull bge-m3
大小是 1.2 G,很快就能下载好。完成后使用命令 ollama list 查看已拉取到本地的模型。
## 安装Cherry Studio
Cherry Studio 的下载地址是https://cherry-ai.com/download ,目前最新版是 1.0.4。点立即下载的话会跳转 github 下载地址,如果不能科学上网,可以把跳转的地址复制到迅雷里下载。也可以使用立即下载下面的网盘下载。
下载好安装包之后,直接点下一步直至安装好。安装好之后,打开软件,点左下角的齿轮图标进行设置。
模型服务里找到 Ollama,可以看到 API 地址里是本地的 Ollama 地址。我开始是想在自己笔记本上通过局域网调用台式机上的 Ollama,但是并不成功。估计只支持本机的 Ollama 吧。
点击管理图标。这时软件会自动搜索到本地安装了模型。
点击 bge-m3: lastest 后面的加号,deepseek-r1 我的台式机只能流畅跑 7b 和 8b,我勾选的 8b 后面的加号。大家根据自己电脑的内存和显卡情况选择合适的模型吧。
回到 Ollama 设置界面,点击 API 密钥后的检查,选择我前面选的 deepseek-r1:8b,稍等片刻会提示连接成功。
现在到聊天窗口,测试一下效果。问问他是谁?
哎呀,翻车了。不过没事,在默认助手上点击右键,选择编辑助手。
在模型设置里选择我本地的模型 deepseek-r1:8b。
再次提问,可以看到模型已经可以用了。
## 搭建知识库
点击知识库图标,添加,取名为我的知识库,嵌入模型选 bge-m 3: lastest。然后确定。
文件界面,可以添加文件、目录、网址、站点地图、笔记,我这里上传了一本电子书。
上传完成后,电子书后面蓝色圆点图标表示正在解析,这里耗时较久我就先睡了。早上起来看已经完成解析。检索知识库,我这里输入绿肥红瘦,可以看到检索的内容正是我上传的电子书。
在问答界面,输入“从知识库中搜索绿肥红瘦的介绍”,发现并没有用我上传的电子书里的内容回答。这是因为输入框下面的知识库图标我没有选,点知识库图标,选择知识库的名字(前面我命名为我的知识库),选完后知识库图标变蓝色。
再次提问“从知识库中搜索绿肥红瘦的介绍”,可以看到是从知识库里给的答案,但是为什么不给李清照的知否知否呢?聪明的读者们,是不是我给的提示词 Prompt 不合适啊,欢迎大家留言讨论。
今天的使用 DeepSeek+Ollama+Cherry Studio 搭建本地知识库就讲到这里,要出门上班搬砖当牛马去了。