基于AnythingLLM 与 本地DeepSeek大模型，零门槛构建企业级本地 AI 知识库

于 2025-03-29 15:57:25 发布
阅读量271 收藏 7
点赞数 3
文章标签： 人工智能 AI大模型 语言模型 DeepSeek Anything 本地知识库 agi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85327249/article/details/146691352
版权

AI 私有化部署的时代已来

在数据隐私日益重要的今天，企业及开发者对本地化AI解决方案的需求激增。本文将手把手教你如何通过开源工具AnythingLLM与Ollama，无需云端依赖、完全免费地搭建基于DeepSeek大模型的本地知识库系统，实现数据100%自主掌控的智能化升级。

一、为什么选择本地化AI知识库？

  1. 数据零泄漏风险：敏感信息完全离线处理
  2. 响应速度提升：本地计算无需网络延迟
  3. 定制化自由：支持任意垂直领域知识训练
  4. 长期成本优化：避免云服务持续付费

二、工具准备清单

  1. AnythingLLM：开源企业级LLM应用框架（https://anythingllm.com/）
  • 支持多模态文档处理（PDF/Word/网页等）
  • 可视化知识库管理界面
  • 本地向量数据库集成
  1. Ollama：本地大模型运行神器（https://ollama.com/）
  • 一键部署各类开源大模型
  • 支持 CPU/GPU 混合计算
  • 模型版本管理功能
  1. DeepSeek模型：
  • 推荐下载 8B/14B参数的量化版本，工作环境使用建议 14B 以上
  • 可通过 HuggingFace 或官方渠道获取
  1. 硬件：推荐英伟达3060 12G显卡和16G内存以上，可部署 14B 以上模型

三、两步搭建实战指南

  1. Ollama 本地化部署 DeepSeek R1
  • 下载并安装 Ollama 应用到本地电脑

Image

  • 下载 Deepseek 模型，推荐 8B/14B 以上量化模型

Image

安装：windows环境下，win + R 输入 cmd 打开命令行对话框，输入 ollama run deepseek-r1:14b，即可下载模型到本地电脑，下载完成后，运行 Ollama即可（Ollama没有前端，可以在电脑的右下角看到Ollama图标）

Image

其他命令参考：

介绍几个Ollama常用的命令：

  1. 列出本地可用的模型列表：ollama list

  2. 启动模型：ollama run model_name

  3. 查看模型信息：ollama show model_name

  4. 删除指定模型：ollama rm model_name

  • 由于Ollama默认安装在C盘，可以参考以下方式，迁移到其他盘

1）打开环境变量：“我的电脑”（邮件）- “属性” – “高级系统设置” – “环境变量”

2）修改 Ollama 路径，打开 Path，添加新路径，例如：F:\anythingllm\ollama，保存，然后将 C盘 Ollama 整个文件夹下的所有文件剪切到这里

Image

3）修改 Ollama 模型环境变量

将刚安装并且剪切到其他盘的模型文件夹设置为新的环境

Image

  1. 部署 AnythingLLM

打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。

默认路径安装，或者修改默认安装路径都可以。

安装完成后，运行客户端

  • 设置模型

选择Ollama，并选择模型，下图示为1.5b模型，可在此选择上面下载的 14b 模型

Image

  • 要使用本地知识库，还需要设置 Embedding 模型和向量数据库

正常路径是，点击左下角的设置icon，打开下图所示界面，还可以在下方 的 Customization 中将语言更改为中文。

Image

  • 创建工作区，填写工作区名称，就可以对话了。

Image

添加知识库文件。

Image

  1. DeepSeek R1 API 接入LLM

如果本地硬件条件有限，想使用DeepSeek官网服务怎么办？

AnythingLLM 也支持直接调用DeepSeek官方提供的API接口。

点击“工作区设置”，选择聊天设置，可以更改LLM模型。

Image

选择DeepSeek，输入API Key，选择DeepSeek R1模型，输入DeepSeek API Key，选择DeepSeek R1模型就可以了。

Image

四、Anythingllm 联网搜索

AnythingLLM 本地模型，默认是不联网的，如需将本地模型联网，可以进行以下操作。

1、启用 Web Search

  1. 打开设置：在 AnythingLLM 的设置界面中，找到“代理技能”选项。

  2. 启用 Web Search：在代理技能列表中找到 Web Search，点击开启。

  3. 选择搜索引擎：选择一个搜索引擎。如果你只是想尝试一下，建议选择 DuckDuckGo，因为它无需任何配置即可直接使用。如果选择 Goolge search engine，则需要在google search 控制台申请 API Key。（注意: 无论是 DuckDuckGo 还是 Google Search Engine，都需要科上网才能正常使用。）

Image

  1. 申请 Google Search API Key
  • 访问 Google Search 控制台：前往 Google Search 控制台 创建一个新的搜索引擎 (https://programmablesearchengine.google.com/controlpanel/create)。

Image

  • 自定义搜索引擎：创建完成后，点击“自定义”按钮，进入配置页面。

Image

  • 获取搜索引擎 ID：在配置页面中，找到搜索引擎 ID，并记录下来。这个 ID 在后续配置 AnythingLLM 时会用到。

Image

  • 获取 API Key：在页面底部，点击“开始使用”按钮，然后点击“获取密钥”按钮。

Image

  • 创建 API Key：自定义一个项目名称，勾选“Yes”，然后点击“下一步”。

Image

  • 复制 API Key：创建成功后，复制生成的 API Key。
  1. 配置 Google Search Engine

  1. 回到 AnythingLLM：在 AnythingLLM 的设置界面中，将搜索引擎修改为 Google Search Engine。

  2. 输入配置信息：在相应的输入框中，填入之前获取的 Search Engine ID 和 API Key，然后点击保存。

Image

  1. 测试搜索功能：回到聊天界面，通过 @agent + 提示词 的方式启用搜索功能。

Image

以上，Ollama 部署本地大模型，Anythingllm 构建本地知识库，实现电脑端大模型知识库。

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

【DeepSeek应用实践】手把手教程：用 AnythingLLM + Ollama + DeepSeek-R1 搭建本地企业知识库
寻道AI，探索AI无限可能！
03-28 1417
在众多的技术方案中，我们选择了 AnythingLLM、Ollama 和 DeepSeek-R1 这一组合来搭建本地知识库。Ollama 作为一个轻量级的本地化大语言模型部署工具，支持多种模型，易于安装和使用，能够快速在本地运行强大的语言模型。DeepSeek-R1 是一个专为知识库问答设计的检索增强生成（RAG）模型，它结合了检索和生成的优势，能够快速从知识库中检索相关信息并生成精准答案。而 AnythingLLM 则是一个用户友好的界面工具，可以方便地连接 Ollama 和 DeepSeek-R1
如何在无法联网的电脑上本地部署 DeepSeek 大模型
qq_41854911的博客
02-13 4583
DeepSeek 是一家位于中国的人工智能公司，专注于研发新一代通用人工智能技术。其最引人注目的成就之一便是 DeepSeek 大模型 系列，这是一系列开源的大语言模型，以其卓越的性能和开放性，在业界引起了广泛关注。DeepSeek 开源介绍DeepSeek 秉持着开源开放的精神，将其研发的大模型对外开源，旨在推动人工智能技术的普及和发展。
AI实战：深度构建基于RAGFlow本地知识库与定制化大模型的私有化应用实战
2401_85328934的博客
11-13 1552
在 RAGFlow 中，检索模块和生成模块协同工作。首先，通过检索模块从知识库中挑选出与问题高度相关的内容，形成上下文，然后由生成模块处理这些内容并生成富有逻辑和背景的回答。此结构结合了多任务学习、深度学习等技术，通过复杂架构实现内容的自动化生成。
AI Anything: 人人都能创建GPT工具的开源项目
m0_75126181的博客
08-31 1291
AI Anything是由开发者KeJunMao在GitHub上发起的一个开源项目。该项目的核心理念是,大多数与ChatGPT相关的工具本质上都是对提示(prompt)的调整,因此AI Anything旨在让每个人都能快速创建这样的ChatGPT工具。项目的官方网站是,任何人都可以访问并使用这个平台来创建自己的AI工具。AI Anything采用MIT开源许可证,这意味着它是一个完全开放的项目,欢迎社区贡献和改进。
基于 LLaMA 和 LangChain 实践本地 AI 知识库
素履独行 | 元培的个人博客
03-01 1903
本文讨论了人工智能领域的最新发展，主要围绕着基于 Transformer 和 MoE 架构的多模态模型 Gemini 1.5 Pro，以及 OpenAI 推出的支持从文字生成视频的模型 Sora。文章提到通用人工智能（AGI）的实现正在加速，指出 AI 应用落地的主要实践围绕大模型微调、提示词工程和知识增强展开。在介绍 LangChain 中的知识库构建过程中，涉及 Loader、Splitter、Embeddings 和 VectorStore 等步骤。此外，还讨论了 RAG 和 GPTs 在实践中的应用
探索 AnythingLLM：借助开源 AI 打造私有化智能知识库
2401_84208172的博客
12-19 3122
随着大语言模型（LLM）的快速发展，将企业内部知识库与 AI 工具结合成为热门解决方案。作为一名技术探索者，我对构建私有知识库充满兴趣，也希望测试 LLM 的能力，尤其是像 Ollama 和千问这类模型。此外，AnythingLLM 是一个开源项目，具有较高的社区关注度，因此我决定对其进行深入调研。 基于 RAG（检索增强生成）技术，AnythingLLM[1] 提供了从数据处理到用户界面的全栈解决方案，支持构建企业内部的智能知识库。其模块化架构和灵活部署方式，使其成为企业和个人开发者进行知识管理和 AI
基于AnythingLLM的本地知识库：最简单的AI应用落地
最新发布
hrw_embedded的博客
03-12 657
ai回答的并不理想，因为我用的是笔记本的蒸馏模型并且参数只有8b，如果电脑算力够，上个32b的模型效果会好很多.
超详细！使用离线DeepSeek R1 + AnythingLLM搭建本地私有知识库
分享Python、数据分析、人工智能前沿知识
02-08 2441
私有知识库是利用RAG（检索增强生成）技术，与大模型相结合，通过输入外部知识，来增强模型的效果和质量。似乎有点绕，下面举个简单的例子。比如说，你问DeepSeek你公司的规章制度、奖惩机制，它肯定回答不出来，因为这是非公开资料。怎么解决呢？你可以在公司内部部署离线DeepSeek模型，然后将公司文档和数据库喂给它训练，这样它就能检索并回答你公司相关的内容，还不妨碍大模型本身的性能，这就构成了私有知识库。私有知识库的好处有三点：1、结合大模型能力，相比传统搜索更加精准、灵活、可靠。
DeepSeek V3 搭建个人知识库教程.pdf
02-26
AnythingLLM是一款功能强大的企业级应用程序，它允许用户将任何文档、资源或内容转化为上下文，以便与大型语言模型进行交互，所有数据和会话均存储在本地。用户需在LLM首选项中选择DeepSeek作为AI提供商，并输入获取...
基于 DeepSeek 构建企业级 RAG 知识库的开源应用推荐
神棍之路
02-19 579
企业可根据数据规模、安全等级和功能复杂度选择工具。若需快速验证，优先使用 AnythingLLM + Ollama 组合；若追求高性能，推荐 DeepSeek-V3 + LMDeploy + Milvus 方案。基于 DeepSeek 构建企业级 RAG 知识库的开源应用推荐。
AnythingLLM + Ollama 实现私有知识库
2301_76168381的博客
01-29 4077
是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。❝注意： 随着知识库中文档数量的增加，回答的准确性可能会受到影响。建议将文档分散到多个工作区，以提高检索效率。
基于AnythingLLM+deepseek实现智能客服+企业知识库
秃了也弱了
02-11 995
创建key之后，记得保存起来。
本地部署与远程访问：使用Anything LLM、Ollama与DeepSeek R1打造智能知识库
热门推荐
m0_65555479的博客
02-18 1万+
本文主要介绍如何在Windows电脑上本地部署Ollama并接入DeepSeek R1大模型，然后使用强大的开源AI工具Anything LLM结合cpolar内网穿透工具轻松实现随时随地使用与上传内容来训练本地部署的大模型，无需公网IP，也不用准备云服务器那么麻烦！
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
2401_85325726的博客
06-15 1819
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮[自然语言处理]领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！底座包含模型模型参数大小训练token数训练最大长度是否可商用。
DeepSeek搭建知识库（个人与企业）
我是赛博AI Lewis
02-17 1288
DeepSeek知识库搭建
零代码！只需3步用DeepSeek+Ollama+AnythingLLM打造免费AI本地专属知识库（含原理）
python12222_的博客
02-15 2134
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。•答案生成：用户提问时，LLM模型基于数据库检索和知识片段推理，输出结构化答案（如分步骤说明流程），并标注引用来源，防止AI大模型“瞎编”或者幻觉严重。
基于deepseek搭建本地知识库的软件有哪些
03-08
<think>嗯，用户现在问的是基于深度求索（DeepSeek）搭建本地知识库的软件有哪些。首先，我需要确认DeepSeek是什么。根据之前的对话，用户可能是指深度求索（DeepSeek）这家公司或者他们的某个产品，但可能用户有拼写错误，或者是想指代某种深度学习框架。不过结合上下文，之前讨论的是Dify平台，可能用户想继续了解相关的本地知识库构建工具。 接下来，我需要考虑“本地知识库”通常指的是在本地部署的、利用自然语言处理技术来管理和查询知识的系统。这类软件通常结合了向量数据库、大模型（LLM）和检索增强生成（RAG）技术。常见的开源框架包括LangChain、LlamaIndex、FastGPT等。而商业平台可能有Dify、AnythingLLM、PrivateGPT等。 但用户特别提到“基于deepseek搭建”，需要确认是否有直接基于DeepSeek模型或工具开发的软件。可能用户指的是使用DeepSeek的开源模型，比如深度求索公司可能发布的模型，来构建本地知识库。例如，DeepSeek-R1或者他们的其他模型。 需要查找是否有知名软件直接集成了DeepSeek的模型。目前，可能没有太多直接以DeepSeek命名的软件，但许多框架支持集成多种模型，包括Hugging Face上的模型，因此用户可以通过这些框架来使用DeepSeek的模型搭建知识库。 另外，用户可能对本地部署特别关注，所以需要强调那些支持本地化部署的工具，比如PrivateGPT、LlamaIndex、FastChat等。同时，结合之前的回答中提到的Dify，虽然Dify本身是一个云原生平台，但它也支持本地部署，所以可能需要提到。 还需要考虑用户可能的实际需求，比如是否希望免费、开源，是否需要图形界面，还是更倾向于命令行工具。根据用户的问题，他们可能希望有一个具体的软件列表，并且每个软件的特点，以便选择。 总结下来，回答需要包括几个方面： 1. 开源框架，如LangChain、LlamaIndex，这些可以集成DeepSeek的模型。 2. 本地部署工具，如PrivateGPT、AnythingLLM。 3. 商业平台，如Dify、FastGPT，可能支持本地部署和模型替换。 4. 强调如何在这些工具中使用DeepSeek的模型，比如通过Hugging Face接口或API。 同时，要确保回答结构清晰，分点列出，每个软件的特点、技术栈、适用场景，并给出官方链接。此外，提醒用户注意模型兼容性和本地部署要求，比如硬件需求。 可能还需要检查是否有遗漏的工具，比如Chinese-LangChain、闻达等国内开发者常用的项目，这些可能更适合中文环境。同时，是否需要提供配置示例，比如如何替换默认模型为DeepSeek的模型，例如修改配置文件中的模型路径或API密钥。 最后，确认所有信息准确，特别是链接和项目名称是否正确，避免误导用户。</think>以下是基于本地化部署需求，支持集成DeepSeek等大模型的**知识库系统/框架**分类整理： --- ### 一、**开源框架（可自定义模型接入）** 1. **LangChain + DeepSeek** - 核心能力： - 支持通过HuggingFace接口加载DeepSeek模型 - 自由组合RAG流程（文档解析→向量化→检索→生成） - 技术栈： ```python from langchain.llms import HuggingFacePipeline llm = HuggingFacePipeline.from_model_id( model_id="deepseek-ai/deepseek-llm-1b", task="text-generation" ) ``` - 文档：[LangChain中文指南](https://python.langchain.com.cn/) 2. **Chinese-LangChain** - 特点： - 针对中文优化的本地知识库方案 - 已测试兼容DeepSeek、ChatGLM等国产模型 - 部署命令： ```bash git clone https://github.com/yanqiangmiffy/chinese-LangChain ``` --- ### 二、**本地化部署工具** 3. **AnythingLLM** - 优势： - 支持完全离线运行（CPU/GPU双模式） - 可视化界面管理多知识库 - 集成DeepSeek步骤： 1. 导出模型为GGUF格式 2. 在`settings.json`中配置模型路径： ```json { "localModels": [ { "name": "DeepSeek-7B", "path": "./models/deepseek-7b.Q4_K_M.gguf" } ] } ``` - 官网：[anythingllm.ai](https://anythingllm.ai/) 4. **PrivateGPT** - 核心功能： - 自动文档向量化（使用SentenceTransformers） - 隐私优先设计（数据永不外传） - 启动命令： ```bash python ingest.py --model deepseek-llm-1b ``` --- ### 三、**国产解决方案** 5. **FastGPT** - 特点： - 支持在线/离线混合部署 - 提供Flow工作流设计器 - 接入DeepSeek方法： 修改`config/model.json`： ```json { "api_base": "http://localhost:8000/v1", "model_name": "deepseek-chat" } ``` - GitHub：[lobehub/fastgpt](https://github.com/lobehub/fastgpt) 6. **闻达（Wenda）** - 专长领域： - 中文长文本摘要与问答 - 支持LoRA微调适配 - 启动配置： ```yaml model: type: deepseek path: /models/deepseek-13b ``` --- ### 四、**商业平台（支持私有化部署）** 7. **Dify** - 企业版功能： - 支持本地部署+模型网关 - 可对接DeepSeek API或本地模型服务 - 部署架构： $$ \text{用户请求} \rightarrow \text{Nginx} \rightarrow \text{Dify Core} \leftrightarrow \text{DeepSeek Model} $$ 8. **DeepSeek官方解决方案** - 定制服务： - 提供企业级知识库SDK - 支持硬件加密模块 - 联系渠道：[商务合作页面](https://www.deepseek.com/contact) --- ### 配置建议 1. **硬件门槛** - 7B模型：最低16GB RAM + NVIDIA 3060（12G显存） - 13B模型：推荐32GB RAM + NVIDIA 3090 2. **关键参数** - 量化加载示例： ```python model = AutoModelForCausalLM.from_pretrained( "deepseek-ai/deepseek-llm-7b", load_in_4bit=True # 4位量化节省显存 ) ``` 如需具体场景的部署方案（如金融/医疗领域），可提供更多需求细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值