DeepSeek+AnythingLLM：私有知识库搭建的保姆级教程！非常详细收藏我这一篇就够了

除了像公网那么用，还有哪些玩法？

目前想到的：1.搭建私有知识库，企业内部资料放进去方便检索。2.工作流程自动化，企业日常业务中一些步骤用AI自动完成。

今天搞搞私有知识库。

什么是私有知识库，有什么好处?

私有知识库是利用RAG（检索增强生成）技术，与大模型相结合，通过输入外部知识，来增强模型的效果和质量。来个简单的例子。

比如说，你问DeepSeek你公司的规章制度、奖惩机制，它肯定回答不出来，因为这是非公开资料。

怎么解决呢？你可以在公司内部部署离线DeepSeek模型，然后将公司文档和数据库喂给它训练，这样它就能检索并回答你公司相关的内容，还不妨碍大模型本身的性能，这就构成了私有知识库。

私有知识库的好处有三点：

1、结合大模型能力，相比传统搜索更加精准、灵活、可靠。Deepseek是推理模型，不光给出答案还能给出过程和详细建议。就像有个老同事指导一样。

2、本地化部署，数据安全有保障，且权限管控非常便捷

3、使用门槛低，降低企业内部培训和沟通成本，会打字就会用。

RAG 的整体框架和技术组件涉及的东西还是比较多的，先不管那么多，先在本地把私有知识库跑起来.

这次用anythingllm来搭建，并进行配置。

anythingllm是由Mintplex Labs Inc.开发的一款全栈应用程序，旨在提供一个集成的AI解决方案，支持多种大语言模型（LLM）和功能。

软件配置要求

Anything LLM集成了RAG（检索增强生成）和AI大模型，可以收集各种外部资料（用户提供的），转化为大模型能检索的信息形式，然后结合大模型对话能力，提供面向私有知识的智慧检索服务。

总结一下，Anything LLM运行的流程是：

接受外部资料信息 -> 转化为模型能理解的向量形式 -> 接受用户提问 -> 检索相关信息 -> 生成回答。

Anything LLM可以接受各种格式的外部资料，比如PDF、Word（DOC、DOCX）、TXT 、PPT、Excel等，还支持URL检索，企业内部文档几乎都可以完美支持，所以不需要担心格式问题。

除了Anything LLM之外，你还需要在本地安装DeepSeek 离线大模型，这个可以通过Ollama软件来实现，上一篇文章有详细说明，可以参考下。

需要根据自己的电脑配置，选择合适的参数版本，参数越高则私有知识库的回答质量也越高，我安装的是7b版本，效果还凑合。

第一步：下载和安装Anything LLM软件

Anything LLM核心功能是检索外部资料，喂给大模型。

从下面链接下载Anything LLM软件，选择好适配你电脑系统的版本。

https://anythingllm.com/desktop

接着安装到本地，一路next即可。

安装好后，打开软件，接着下一步安装DeepSeek离线模型。

第二步：安装DeepSeek离线模型

见参数纪元前一篇文章

安装好ollama和deepseek后在AnythingLLM 就可以选择deepseek模型

第三步：配置Anything LLM参数

Anything LLM的配置工作主要有三个参数：LLM模型、Embedding首选项、向量数据库

LLM模型是指对话的大模型，不同大模型效果有较大差异，我们这里选的是DeepSeek R1 7B。满血版太大了爬不动，选用的蒸馏模型。

Embedding用于将外部资料文档转为计算机能够理解和处理的向量表示，有不同Embedding 模型可供选择，比如OpenAI、Gemini、Ollama等。

向量数据库则主要用于存储和管理经过 Embedding 处理后得到的向量数据，也有不同的数据库供选择。

接下来，点击Anything LLM首页的设置按钮，进入参数配置。

LLM模型选择Ollama deepseek r1 7b模型，这是之前已经安装好的，会自动显示出来供选择。

Embedding首选项选择默认的AnythingLLM Embedder，因为不需要任何设置，其他比如OpenAI还需要配置API key。

这里简单说下不同Embedding模型差异和适用场景。

• Anything LLM：可定制性高，适合构建企业级知识应用、特定领域智能助手等。

• Ollama：用于高效本地部署和推理，适合对数据隐私要求高、常在本地快速文本处理和生成的场景，如本地智能办公、离线智能应用等。

向量数据库选择默认的Lance DB，不需要任何配置就能用，其他数据库选择配置API。

除了刚讲到的3个主要参数，还有其他一些参数设置均可以默认，先不管了，后边用到再说。

第四步：新建工作区并上传相关文档

配置好参数信息后，便可以建立私有知识库并上传相关文档了。

首先新建工作区，这相当于一个私有知识库，这里示例用的是firstworkspace。

然后上传相关所有的文档、数据。

点击Embedding转换，让模型将这些文档转换的向量，最后保存即可。

这里速度可能比较慢，主要看你上传的文档大小，以及你的电脑性能，普通电脑确实比较慢。后面我们在云厂商提供的显卡环境进行操作。

执行完上面所有步骤则代表私有知识库建立成功了，可以支持检索刚刚上传相关文档信息。

第五步：和私有知识库进行对话

回到主界面，可以看到新建的知识库“，然后新建对话框，开始和知识库对话。

知识库会先进行思索，然后回答问题，过程中会检索相关文档，并在回答末尾列出参考文档的名称。

知识库会检索相关文档中关于汽车投诉的记录，并归纳总结给出回答。

总结

通过Anything LLM + DeepSeek组合搭建私有知识库，能更好地帮助个人和企业进行知识内容管理，提升工作效率的同时，还能保障数据隐私，非常值得试一试。

我之前参与涉及开发过大型ERP系统，其中涉及财务知识相当复杂，还有企业内部的一些规定，都是企业攒了多年的积累。基于AI的知识库就可以快速检索。

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

扫描下方csdn官方合作二维码获取哦！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓