为什么要尝试给DeepSeek添加本地知识库呢？或许在我们OA系统中会出现一个AI小助手，我们会问它差旅费报销流程怎么走、合同流程怎么走、负责某某业务的同事的联系方式等等。当然，这应该是最简单的应用场景。时代变了！以前需要找好多个部门的专业人士了解的信息，未来用AI工具就能快速获取，并且是提炼总结后的内容。要实现这些功能，必然需要提供相关的资料内容，这就得有一个知识库。
一、Cherry-Studio版接入
先说明下文中的这种方式一般只适合用于个人使用，企业内要使用，建议使用Docker+Dify去部署使用。
要接入本地模型的话，需要先下载和部署好本地模型，这个是本地部署Deepseek的教程：
如果你有API key的话也可以调在线模型，或者你本地电脑下载了其他模型的话，也可以进行切换对应模型
- 下载安装Cherry-Studio
部署完本地Deepseek后就使用Cherry-Studio进行创建知识库，首先先下载Cherry-Studio，官网地址：https://cherry-ai.com/
下载好后进行安装Cherry-Studio。
- 下载嵌入模型BGE-M3
进入Ollama官网：https://ollama.com/search，点击Models后输入BGE搜索
选择进入BGE后，点击复制下载命令
打开CMD终端命令，粘贴下载命令，回车下载
- 配置CherryStudio
打开CherryStudio客户端，点击设置-->打开Ollama-->选择模型
将Deepseek和BGE模型添加进去
- 添加本地知识库
添加知识库，嵌入模型有多个的话自己选择一个好用的就可以，这里示例是BGE-M3
将自己的本地文件添加到知识库中，这里除了可以添加文件，还可以设置本地的文件目录或者网址、网站、笔记等作为知识库的来源。
添加好本地知识库后，开始提问，我这里的测试知识库文件是txt的，内容也很少，提问小李的电话是多少。
选好知识库后一定要变亮了才是选择上了，亮了后就回车提问。
根据我的提问，模型从本地知识库中检索回答出来了正确答案。
到了这里可能会有人很兴奋，立马心血来潮就想建立一个自己的私有知识库，等等，先别急，我再给你看下另外一个测试效果。
这里我是用的信息管理工程师的官方教材，比如：这里信息化政策法规和标准规范6个要素，我就针对这个提问。
这里我已经上传好了本地文件
提问：信息化政策法规和标准规范6个要素是什么？
发现回答的和本地知识库的没有一点关联性。看到这里很多人很失望，但是原因是什么呢？
不是大模型不行，而是我们部署的大模型参数太低，比如我这个测试的大模型就是最小的1.5B的，所以它的智商就在那里。我看了网上其他一些人的测试，如果要效果比较好的，就需要32B或者70B的效果就会好很多，但是也不要期待值过高，本地版始终很难和Deepseek官方版那么流畅和智能，即使你是用的671B的也是一样，因为这个还是需要专业人士不断地进行一些针对性的调优和校正。
当然如果是个人或者企业在资源充足以及要求隐私性比较强的情况下还是可以在本地部署一个32B以上的进行使用的，一些简单的需求它还是可以处理的，如果是671B全参数完整版，那还是很厉害的。还有Cherry-Studio这个工具还集成了很多其他的AI模型，如果你有API key的话也可以调在线模型，或者你本地电脑下载了其他模型的话，也可以进行切换对应模型，具体功能大家可以自己摸索。
二.AnythingLLM 版接入
AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。
AnythingLLM在它的官网(https://anythingllm.com/)上下载对应的系统版本安装即可。表面上看它是一个桌面应用程序，实际是可以部署到自己服务器上作为一个BS应用来使用。
Ollama
AnythingLLM支持多种大语言模型，因为前一段时间在本地安装了Ollama部署了deepseek R1的14b版本。
完整过程
打开AnythingLLM，左边是工作区列表，右边则是对话窗口。知识库的应用是以工作区为维度进行的，要创建本地知识库就需要先创建一个工作区，点击右侧“+新工作区”按钮，输入工作区名称，工作区的创建就完成了，主分享一下工作区设置。在新建的工作区右侧有一个设置按钮（齿轮），然后进入到如下界面：
补一下坑：在启动AnythingLLM前，先完成Ollama的安装启动，并且运行自己喜欢的模型，否则AnythingLLM工作区配置上无法自动读取到聊天模型列表。配置完成后一定记得点一下保存按钮。
接下来就是知识投喂了，也就是怎么向知识库中添加资料。AnythingLLM的资料管理主要有两个途径：一是上传相关的文档，主要支持文本文件、csv以及音频文件等；二是直接添加URL。资料上传的入口在工作区右侧有一个上传按钮，点击后会出现资料管理的界面：
资料添加后还需要移动到工作区
点击保存并嵌入
还没完，下图中的图钉按钮要点一下。
然后就可以开始聊天了。点击工作区下方的聊天记录或“New Thread”按钮，在右侧的对话框中输入我们的需求来进行验证。
我先测试了一下PDF内容查询，由于电脑配置比较低，14b有点卡，切换到1.5b试了试，效果居然还可以！结果如下：
再测试了一下网页内容,确实能读取到相关信息，上传的URL是npm上我自己的一个package，它不仅能做介绍、抄示例代码，居然还添油加醋的讲了一段：
至此简单的本地知识库体验就完成了，虽然这还达不到真正投入使用要求，但也许未来我们可以用这种方式做一个团队知识管理工具，将公司技术沉淀与AI代码编码能力相结合。
我们该怎样系统的去转行学习大模型 ？
很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习门槛，降到了最低！
在这个版本当中：
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来： 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、大模型经典书籍（免费分享）
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套大模型报告（免费分享）
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、大模型系列视频教程（免费分享）
四、2025最新大模型学习路线（免费分享）
我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调。
L5阶段：专题集丨特训篇 【录播课】
全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取
7431
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
