AI 知识库私有化部署，手把手教你用 Docker 打造企业级 RAG 应用

今天给大家安利一款宝藏开源项目，把 RAG 技术栈全部打包好了，开箱即用，一行命令就能部署。它支持 DeepSeek、OpenAI、Claude、通义千问等多种大模型，还支持 MCP 协议，简直是 AI 爱好者的福音。

一、为什么要搞私有化 AI 知识库？

在开始动手之前，先聊聊为什么企业需要私有化部署 AI 知识库。直接用 GPT 不好吗？

数据安全肯定是第一位的。企业内部的文档、知识库、客户资料这些敏感数据，谁敢随便往公网上传？搞不好就变成了别人训练模型的数据，到时候自己成了"被收割"的对象都不知道。私有化部署把数据牢牢掌握在自己手里，这才是大厂们的选择。

第二个原因是可控性。公有服务的接口随时可能调整、价格也可能变动，甚至被突然限制访问。私有化部署的模型和 API 就在你自己手里，想怎么改怎么改，想怎么升级怎么升级，完全不受制于人。

第三个原因是定制化能力。每个企业的业务场景都不一样，通用的 AI 助手很难完美贴合业务。私有化部署可以针对特定领域进行微调、添加特定的知识库、甚至训练专属模型，这些是公有服务很难提供的。

最后一个原因是成本可控。随着使用量增加，API 调用费用会越来越高。私有化部署虽然前期有硬件投入，但长期来看边际成本会越来越低，而且不用担心用量限制的问题。

二、环境准备：一台机器就够了

开始部署前，先确认一下你的服务器配置够不够格：

最低配置：

• Docker：20.10 以上版本
• 系统内存：2GB RAM
• 磁盘空间：10GB 可用空间
• CPU：2 核
• 操作系统：Linux/Windows/macOS 都可以

推荐配置：

• 系统内存：4GB+ RAM
• 磁盘空间：20GB+ 可用空间
• CPU：4 核
• 生产环境建议使用 Linux

看到这里是不是松了口气？这配置要求真的不算高，哪怕是几年前的老旧服务器都能跑得起来。而且所有依赖项都已经打包在容器里了，不需要你额外安装 PostgreSQL、Redis 这些组件，省事。

如果你不想手动配置 Docker，还有更简单的方法——使用 1Panel 应用商店。1Panel 是一个 Linux 服务器管理面板，可以直接通过图形界面安装 MaxKB，只需要几步点击就能完成，对新手非常友好。

三、一行命令启动 MaxKB

好，环境确认没问题了，接下来就是见证奇迹的时刻。打开你的服务器终端，输入下面这条命令：

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/opt/maxkb 1panel/maxkb

来解释一下这条命令的各个参数都是干什么的：

-d：后台运行容器，不会占用你的终端窗口。

--name=maxkb：给容器起个名字，方便后续管理。

--restart=always：容器意外退出后自动重启，保证服务稳定。

-p 8080:8080：端口映射，把容器的 8080 端口映射到宿主机的 8080 端口。

-v ~/.maxkb:/opt/maxkb：数据卷映射，把容器里的 /opt/maxkb 目录挂载到宿主机的 ~/.maxkb 目录，这样容器重启或者升级后数据也不会丢失。

1panel/maxkb：镜像名称，Docker 会自动从官方仓库拉取最新镜像。

命令执行完成后，可以用 docker ps 看看容器是不是已经跑起来了。如果看到状态栏显示 “Up”，恭喜你，已经成功了一半。

接下来访问 http://你的服务器IP:8080/admin，就能看到登录界面了。

默认登录信息：

• 用户名：admin
• 密码：MaxKB@123…

⚠️ 安全提醒：首次登录后一定要改密码！这个默认密码太弱了，很容易被暴力破解。建议密码满足：最少 12 个字符，混合大小写字母，包含数字和特殊字符，别用那些常见单词或者生日什么的。

四、配置模型提供商：接上 DeepSeek

登录进去之后，第一件事就是配置模型提供商。MaxKB 支持多种大模型，包括但不限于：

• OpenAI
• Claude (Anthropic)
• DeepSeek
• 通义千问
• 智谱 AI
• 月之暗面
• 百度文心一言
• 阿里云百炼
• 本地部署的各种模型

进入"模型管理"->“模型配置”，点击"添加模型"。这里以配置 DeepSeek 为例：

API 地址： https://api.deepseek.com/v1 （DeepSeek 官方 API 地址）

API Key： 从 DeepSeek 开发者平台获取的密钥

模型类型： 选择 LLM（大语言模型）

模型名称： deepseek-chat 或者你想要使用的具体模型

最大 Token： 根据你的需求设置，一般 4096 就够用了

保存之后，就可以测试一下连接是否正常。如果测试通过，恭喜你，模型配置成功了。

同样的方式，你还可以配置 Embedding 模型（用于将文本转换成向量）、语音识别模型（STT）、语音合成模型（TTS）、图片生成模型等等。不同的模型类型对应不同的功能，按需配置就行。

五、创建知识库：让 AI 变身你的专属专家

模型配置好了，接下来就是核心环节——创建知识库。这部分是 RAG 技术的重头戏，理解了这里就理解了 80% 的 MaxKB。

5.1 创建知识库

进入"知识库管理"，点击"创建知识库"。给你的知识库起个名字，比如"公司内部文档"，写个描述说明这个知识库的用途，然后选择 Embedding 模型。

这里有个小坑要注意：同一个知识库里的所有文档必须使用相同的 Embedding 模型，否则会导致向量维度不一致，搜索的时候会报错。如果你切换了 Embedding 模型，需要重新处理知识库里的所有文档。

5.2 上传文档

知识库创建好之后，就可以往里面添加文档了。MaxKB 支持多种文档格式：

• PDF
• Word (.docx)
• Excel (.xlsx)
• PowerPoint (.pptx)
• 纯文本 (.txt)
• Markdown (.md)
• 网页 URL（自动抓取）

点击"上传文档"，选择你准备好的文件。上传之后系统会自动进行处理，包括：

1. 文本提取

   ：从文档中提取纯文本内容

2. 分段处理

   ：将长文档按照语义边界拆分成多个段落

3. 向量化

   ：使用 Embedding 模型将每个段落转换成向量

4. 索引构建

   ：在 PostgreSQL 的 pgvector 扩展中建立向量索引

整个过程是异步执行的，可能需要一点时间，具体取决于文档的大小和服务器的性能。你可以在"文档列表"中看到处理进度，状态会从"处理中"变成"已完成"。

5.3 分段策略：比你想的更智能

MaxKB 的文档分段不是简单的按字符数切分，而是采用了更智能的策略：

• 基于语义边界

  ：识别自然段、章节、标题等结构元素，在这些边界处分段

• 保持上下文完整性

  ：每个分段都会保留一定的上下文信息，确保语义连贯

• 动态调整大小

  ：根据文档结构自动调整分段长度，避免在句子中间强制切分

• 重叠窗口

  ：相邻分段之间有一定的重叠内容，防止关键信息被遗漏

这种分段策略能够最大限度地保证信息的完整性和检索的准确性。如果你对自动分段的效果不满意，还可以手动调整分段策略或者手动编辑分段。

5.4 多模态搜索：三种策略灵活切换

MaxKB 支持三种搜索策略，可以根据不同的场景灵活选择：

Embedding 搜索（语义搜索）：基于向量相似度进行检索，适合模糊查询和语义理解。比如你问"如何申请年假"，系统能找到"休假制度"相关的文档，即使文档里没有完全匹配的关键词。

关键词搜索：基于传统全文搜索，适合精确匹配特定术语、编号等场景。比如搜索"第 12 条规定"这种明确的关键词。

混合搜索：结合 Embedding 搜索和关键词搜索的优势，通过加权的方式综合两种结果。这是默认策略，在大多数场景下效果最好。

你可以在知识库设置中选择默认的搜索策略，也可以在创建应用的时候针对每个应用单独配置。

六、创建 AI 应用：把知识库变成对话助手

知识库准备好了，接下来就是创建 AI 应用，把知识库变成能对话的助手。

6.1 创建应用

进入"应用管理"，点击"创建应用"。MaxKB 支持两种类型的应用：

助手应用：最简单的对话模式，适合创建客服机器人、知识问答系统等。

工作流应用：使用可视化编辑器创建复杂的 AI 流程，适合需要多步骤处理、条件判断、工具调用等场景。

先从简单的助手应用开始。给你的应用起个名字，比如"HR 助手"，选择刚才配置好的大模型，然后在"知识库设置"中选择要关联的知识库。一个应用可以关联多个知识库，检索的时候会在所有关联的知识库中搜索。

6.2 调整提示词：AI 回答质量的关键

MaxKB 已经预设了一套提示词模板，但你可以根据实际需求进行调整。提示词部分主要包含：

开场白：用户打开对话时看到的欢迎语

引导问题：给用户推荐几个常见问题，方便快速上手

角色设定：告诉 AI 它应该扮演什么角色，比如"你是一个专业的 HR 助手，负责解答公司人事政策相关的问题"

回答风格：设定回答的语气和风格，比如"回答要简洁明了，避免使用技术术语"

示例对话：提供几个问答示例，帮助 AI 理解预期的回答格式

好的提示词能让 AI 的回答质量提升好几个档次，建议多花点时间优化。你可以尝试不同的提示词版本，对比实际效果，找到最适合你场景的表达方式。

6.3 参数调优：找到最佳平衡点

除了提示词，还有一些参数可以调整来优化回答质量：

温度：控制回答的随机性。值越小，回答越确定、越保守；值越大，回答越有创造性、越不稳定。一般问答场景设置在 0.3-0.5 比较合适。

最大 Token：限制回答的长度。太短了信息不完整，太长了会浪费 Token 成本。

Top P：控制回答的多样性。温度和 Top P 是两种不同的控制随机性的方式，一般调整其中一个就够了。

Presence Penalty：鼓励模型谈论新话题。值越大，模型越倾向于不重复之前的内容。

Frequency Penalty：减少重复使用相同词语的频率。

这些参数没有标准答案，需要根据你的具体场景反复调试才能找到最佳配置。建议小步快跑，每次只调整一个参数，观察效果变化。

七、高级玩法：工作流引擎

如果你想玩得更高级，可以试试工作流引擎。MaxKB 的工作流引擎支持 25+ 种节点类型，可以实现非常复杂的 AI 流程。

进入"应用管理"，创建一个"工作流应用"，就会打开可视化编辑器。中间是画布，左边是节点库，右边是节点属性面板。

7.1 常用节点类型：积木一样拼出复杂流程

开始节点：工作流的入口点，可以定义输入参数。

结束节点：工作流的出口点，定义输出格式。

LLM 节点：调用大语言模型，是最常用的节点之一。可以配置提示词、温度、最大 Token 等参数。

知识库检索节点：从知识库中检索相关文档，支持设置检索数量、相似度阈值等参数。

条件判断节点：根据某个条件决定走哪个分支，比如"如果用户输入包含’价格’，进入报价流程，否则进入咨询流程"。

循环节点：重复执行某个操作，适合需要迭代处理的场景。

HTTP 请求节点：调用外部 API，扩展 AI 的能力。

代码执行节点：执行一段自定义代码，实现特定的逻辑。

变量设置节点：设置或更新变量，在不同节点之间传递数据。

文档提取节点：从文档中提取文本内容。

文档处理节点：对文档进行分段、清洗等操作。

模型调用节点：调用除了 LLM 之外的其他模型，比如 Embedding 模型、图片生成模型等。

7.2 实战案例：智能客服工作流

假设你要创建一个智能客服工作流，流程如下：

1. 用户提问
2. 先从知识库检索相关文档
3. 如果知识库找到了相关内容（相似度>0.7），直接基于知识库回答
4. 如果知识库没找到，调用 LLM 模型直接回答
5. 记录问题和答案到数据库
6. 返回结果给用户

用可视化编辑器搭建起来就是：

开始 -> 知识库检索 -> 条件判断 -> (分支 A) 基于知识库回答 / (分支 B) 调用 LLM -> 记录日志 -> 结束

每个节点之间用线连起来，配置好每个节点的参数，一个完整的客服工作流就搭建好了。保存之后，就可以通过 API 调用这个工作流，或者在前端界面中直接使用。

7.3 工作流的威力：不用写代码就能实现复杂逻辑

工作流引擎的威力在于，你可以把复杂的业务逻辑可视化地表达出来，不需要写一行代码。而且工作流可以版本管理、可以回滚、可以 A/B 测试，非常适合生产环境使用。

想象一下，你可以搭建这样的工作流：

• 接收用户上传的合同文档
• 自动提取关键条款
• 根据公司政策判断是否需要法务审核
• 如果需要，自动创建审批流程
• 审批通过后，生成合同编号并归档
• 全程不需要人工干预

这就是工作流 + AI 能带来的效率提升。

八、API 集成：把 AI 能力嵌入你的系统

MaxKB 提供了完整的 REST API，可以方便地集成到你现有的系统中。

8.1 获取访问令牌

在"应用详情"页面，点击"访问令牌"，创建一个 API Key。这个 Key 用于认证，记得保密。API Key 可以设置过期时间，建议定期更换，提高安全性。

8.2 调用对话 API：简单几行代码就能用

对话 API 的调用非常简单：

curl -X POST 'http://你的服务器IP:8080/chat/api/application/{application_id}/chat' \-H 'Authorization: Bearer {你的访问令牌}' \-H 'Content-Type: application/json' \-d '{    "message": "我想请年假，流程是什么？",    "stream": false}'

参数说明：

• application_id

  ：应用 ID，可以在应用详情页面找到

• message

  ：用户的问题

• stream

  ：是否使用流式输出，false 表示等全部生成后再返回，true 表示实时流式返回

API 返回的结果包含以下字段：

• content

  ：AI 的回答内容

• chat_id

  ：对话 ID，可以用于后续继续同一个对话

• message_id

  ：消息 ID

• knowledge_list

  ：检索到的知识库内容（如果有）

• tokens

  ：消耗的 Token 数量

8.3 集成示例：企业内部系统实战

假设你的公司内部有一个 OA 系统，想要集成 AI 咨询功能。只需要在你的 OA 系统中添加一个"智能咨询"按钮，点击后弹出对话框，用户输入问题，后台调用 MaxKB 的 API，返回结果展示给用户。

整个过程不需要用户感知到背后调用的是 MaxKB，就好像 OA 系统天生就有 AI 能力一样。

九、部署优化：生产环境最佳实践

如果你是用于生产环境，还需要注意以下几点：

9.1 数据备份：别让心血付诸东流

MaxKB 的数据存储在 Docker 数据卷中，默认位置是 ~/.maxkb。定期备份这个目录，防止数据丢失。可以用 rsync 或者 tar 命令打包备份，也可以设置定时任务自动备份。建议：

• 每日增量备份
• 每周全量备份
• 异地备份一份

9.2 性能监控：防患于未然

使用 docker stats 命令监控容器的资源使用情况，包括 CPU、内存、网络、磁盘 IO。如果发现性能瓶颈，可以考虑：

• 升级服务器配置
• 调整模型参数（比如减少最大 Token）
• 使用缓存减少重复计算
• 分布式部署多个实例

9.3 安全加固：别让黑客钻空子

除了修改默认密码，还应该：

• 使用反向代理配置 HTTPS
• 限制 API 访问 IP 白名单
• 定期更新 Docker 镜像到最新版本
• 配置防火墙规则，只开放必要的端口
• 启用日志审计，记录所有关键操作

9.4 高可用部署：保证 7×24 小时在线

对于高可用场景，可以考虑部署多个 MaxKB 实例，前面用负载均衡器分流量。数据库和缓存可以使用外部的高可用集群，而不是容器内部自带的。

十、实际应用场景：这些场景都能用上

说了这么多，MaxKB 到底能用来做什么？这里列出几个典型场景：

智能客服系统

企业可以用 MaxKB 搭建智能客服，把产品手册、常见问题、售后政策等文档上传到知识库，客户咨询的时候自动从知识库检索相关内容并生成回答。相比传统的关键词匹配，RAG 技术能理解用户的真实意图，提供更准确的回答。还能自动记录对话历史，分析常见问题，持续优化知识库内容。支持多轮对话，能记住上下文，体验更自然。

技术文档助手

开发团队可以把技术文档、API 文档、代码示例等上传到知识库，新员工入职或者开发者遇到问题时，直接问 AI 助手就能得到准确的答案，不用翻阅大量文档。还能集成到 IDE 中，写代码的时候随时查询文档，大大提高开发效率。支持代码片段检索，能快速找到相关的代码示例。

HR 政策咨询

公司的人事制度、薪酬福利、请假流程等政策文档上传到知识库，员工有疑问的时候可以直接咨询 HR 助手，快速得到准确的答案。减轻 HR 的工作负担，提高员工满意度。还能自动生成请假申请模板、入职须知等文档，提高工作效率。

合同审查助手

把公司的合同模板、审查标准、历史合同等上传到知识库，新合同来了之后，AI 助手可以自动检查是否符合标准条款，有没有遗漏重要内容，提示潜在风险。虽然不能完全替代人工审查，但能大幅提高审查效率和质量。还能对比不同版本的合同，快速发现差异。

销售支持工具

把产品信息、报价单、客户案例、竞争对手分析等上传到知识库，销售在跟客户沟通的时候可以快速查询相关信息，给出准确的回答。还能根据客户需求自动生成初步方案，缩短销售周期。支持场景化问答，比如客户问"预算有限有什么方案"，能给出不同价位的方案建议。

内部知识管理

公司的各种文档、报告、会议纪要、项目资料等上传到知识库，员工可以通过自然语言搜索快速找到需要的信息，打破信息孤岛，提高协作效率。支持权限管理，不同部门的人只能看到自己的知识库。还能智能推荐相关内容，发现隐藏的知识关联。

学习辅导系统

教育机构可以把教材、习题、知识点总结等上传到知识库，学生可以随时提问，AI 助手根据知识库内容提供个性化的辅导。还能根据学生的错题推荐相关知识点讲解，实现精准提分。支持多学科知识库，数学、英语、物理等都能搞定。

法律咨询服务

律师事务所可以把法律条文、案例分析、实务指南等上传到知识库，律师在处理案件的时候可以快速查询相关法律依据，提高办案效率。不过要注意，AI 的回答不能完全替代专业判断，最终还是要律师把关。还能自动生成法律文书初稿，节省律师的时间。

医疗诊断辅助

医疗机构可以把医学指南、临床路径、病例库等上传到知识库，医生在诊断的时候可以快速查询相关参考信息。但同样要注意，AI 只是辅助工具，不能替代医生的判断。还能根据症状推荐相关的检查项目，辅助医生制定诊疗方案。

政务咨询机器人

政府部门可以把政策文件、办事指南、常见问题等上传到知识库，民众可以通过对话的方式查询政务信息，不用翻阅大量文件，提高政务服务效率。支持多轮对话，能引导用户一步步完成办事流程。还能智能识别用户意图，自动推荐相关政策。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！