大模型 | 实操Deepseek接入个人知识库

为什么要尝试给DeepSeek添加本地知识库呢？或许在我们OA系统中会出现一个AI小助手，我们会问它差旅费报销流程怎么走、合同流程怎么走、负责某某业务的同事的联系方式等等。当然，这应该是最简单的应用场景。时代变了！以前需要找好多个部门的专业人士了解的信息，未来用AI工具就能快速获取，并且是提炼总结后的内容。要实现这些功能，必然需要提供相关的资料内容，这就得有一个知识库。

一、Cherry-Studio版接入

先说明下文中的这种方式一般只适合用于个人使用，企业内要使用，建议使用Docker+Dify去部署使用。
　　要接入本地模型的话，需要先下载和部署好本地模型，这个是本地部署Deepseek的教程：

如果你有API key的话也可以调在线模型，或者你本地电脑下载了其他模型的话，也可以进行切换对应模型

• 下载安装Cherry-Studio

部署完本地Deepseek后就使用Cherry-Studio进行创建知识库，首先先下载Cherry-Studio，官网地址：https://cherry-ai.com/

下载好后进行安装Cherry-Studio。

• 下载嵌入模型BGE-M3

进入Ollama官网：https://ollama.com/search，点击Models后输入BGE搜索

选择进入BGE后，点击复制下载命令

打开CMD终端命令，粘贴下载命令，回车下载

• 配置CherryStudio

打开CherryStudio客户端，点击设置–>打开Ollama–>选择模型

将Deepseek和BGE模型添加进去

• 添加本地知识库

添加知识库，嵌入模型有多个的话自己选择一个好用的就可以，这里示例是BGE-M3

将自己的本地文件添加到知识库中，这里除了可以添加文件，还可以设置本地的文件目录或者网址、网站、笔记等作为知识库的来源。

添加好本地知识库后，开始提问，我这里的测试知识库文件是txt的，内容也很少，提问小李的电话是多少。

选好知识库后一定要变亮了才是选择上了，亮了后就回车提问。

根据我的提问，模型从本地知识库中检索回答出来了正确答案。

到了这里可能会有人很兴奋，立马心血来潮就想建立一个自己的私有知识库，等等，先别急，我再给你看下另外一个测试效果。

这里我是用的信息管理工程师的官方教材，比如：这里信息化政策法规和标准规范6个要素，我就针对这个提问。

这里我已经上传好了本地文件

提问：信息化政策法规和标准规范6个要素是什么？

发现回答的和本地知识库的没有一点关联性。看到这里很多人很失望，但是原因是什么呢？

不是大模型不行，而是我们部署的大模型参数太低，比如我这个测试的大模型就是最小的1.5B的，所以它的智商就在那里。我看了网上其他一些人的测试，如果要效果比较好的，就需要32B或者70B的效果就会好很多，但是也不要期待值过高，本地版始终很难和Deepseek官方版那么流畅和智能，即使你是用的671B的也是一样，因为这个还是需要专业人士不断地进行一些针对性的调优和校正。

当然如果是个人或者企业在资源充足以及要求隐私性比较强的情况下还是可以在本地部署一个32B以上的进行使用的，一些简单的需求它还是可以处理的，如果是671B全参数完整版，那还是很厉害的。还有Cherry-Studio这个工具还集成了很多其他的AI模型，如果你有API key的话也可以调在线模型，或者你本地电脑下载了其他模型的话，也可以进行切换对应模型，具体功能大家可以自己摸索。

二、AnythingLLM 版接入

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

AnythingLLM在它的官网(https://anythingllm.com/)上下载对应的系统版本安装即可。表面上看它是一个桌面应用程序，实际是可以部署到自己服务器上作为一个BS应用来使用。

Ollama
AnythingLLM支持多种大语言模型，因为前一段时间在本地安装了Ollama部署了deepseek R1的14b版本。

完整过程

打开AnythingLLM，左边是工作区列表，右边则是对话窗口。知识库的应用是以工作区为维度进行的，要创建本地知识库就需要先创建一个工作区，点击右侧“+新工作区”按钮，输入工作区名称，工作区的创建就完成了，主分享一下工作区设置。在新建的工作区右侧有一个设置按钮（齿轮），然后进入到如下界面：

补一下坑：在启动AnythingLLM前，先完成Ollama的安装启动，并且运行自己喜欢的模型，否则AnythingLLM工作区配置上无法自动读取到聊天模型列表。配置完成后一定记得点一下保存按钮。

接下来就是知识投喂了，也就是怎么向知识库中添加资料。AnythingLLM的资料管理主要有两个途径：一是上传相关的文档，主要支持文本文件、csv以及音频文件等；二是直接添加URL。资料上传的入口在工作区右侧有一个上传按钮，点击后会出现资料管理的界面：

资料添加后还需要移动到工作区

点击保存并嵌入

还没完，下图中的图钉按钮要点一下。

然后就可以开始聊天了。点击工作区下方的聊天记录或“New Thread”按钮，在右侧的对话框中输入我们的需求来进行验证。
我先测试了一下PDF内容查询，由于电脑配置比较低，14b有点卡，切换到1.5b试了试，效果居然还可以！结果如下：

再测试了一下网页内容,确实能读取到相关信息，上传的URL是npm上我自己的一个package，它不仅能做介绍、抄示例代码，居然还添油加醋的讲了一段：

至此简单的本地知识库体验就完成了，虽然这还达不到真正投入使用要求，但也许未来我们可以用这种方式做一个团队知识管理工具，将公司技术沉淀与AI代码编码能力相结合。

---

三、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】