【零门槛搭建】小白也能上手！QAnything本地知识库系统保姆级部署教程，大模型RAG技术实战指南

关注

原创最新推荐文章于 2026-03-05 00:35:35 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

[AI]部署安装有道QanyThing 部署安装有道Qanything 阅读详情

一、什么是QAnything

QAnything (Question and Answer based on Anything) 是一款由网易开源的本地知识库问答系统，致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用，非常适合对数据安全有高要求的场景。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式:

PDF(pdf)
Word(docx)
PPT(pptx)
XLS(xlsx)
Markdown(md)
电子邮件(eml)
TXT(txt)
图片(jpg，jpeg，png)
CSV(csv)

二、QAnything的特点

● 数据安全，支持全程拔网线安装使用。

● 支持文件类型多，解析成功率高，支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。

● 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好，不限制上传文件数量，检索速度快。

● 硬件友好，默认在纯CPU环境下运行，且win，mac，linux多端支持，除docker外无依赖项。

● 易用性，无需繁琐的配置，一键安装部署，开箱即用，各依赖组件（pdf解析，ocr，embed，rerank等）完全独立，支持自由替换。

● 支持类似Kimi的快速开始模式，无文件聊天模式，仅检索模式，自定义Bot模式。

三、QAnything的架构

四、特性介绍

4.1 最新特性表

特性	python(v1.4.2)	docker(v1.1.2)	全部QAanything(v2.0.8)	说明
详细安装文档	☐	☐	☐
API支持	☐	☐	☐
生产环境（小型生产环境）	☐	☐	✅
离线使用	☐	☐	✅
支持多并发	☐	☐	✅
支持多卡推理			✅	v2.0.8版本不再提供默认版本LLM，需用户自行通过ollama等工具部署本地LLM
支持Mac（M系列芯片）	✅		✅
支持Linux	✅	✅	✅	python旧版本Linux默认安装tensorflow-cpu，如需使用cudn2-gitb=2.0时自动切换为nonatickm
支持windows（无需WSL）	✅		✅	python旧版本均可以通过安装支持cudn2直接在非WSL环境下启动
支持CPU环境	✅	✅	✅
支持bertembedding（BM2相似度排序）	✅	✅	✅
支持联网检索（需外网VPN）			✅
支持FAQ问答	☐	☐	✅
支持自定认机器人（可绑定知识库，可分享）	☐	☐	✅
支持文件溯源（数据来源可直接点击打开）	☐	☐	✅
支持问答日志检索	☐	☐	✅
支持解析语音文件（依赖ffmpeg，解析速度慢）	✅		✅
支持OpenClossOS	☐		✅
支持与OpenAI接口兼容（直接开搞大模型免费的钱钱）	☐		✅
rdf（包含表格解析效率++）			✅	v1.4.2版本手动设置，v0.0.0无手动设置，qdf解析效果和性能均有提升
用户自定义embed、trank接口（实验性，提升速度）			✅	v1.4.2需手动设置，v2.0.0默认使用最佳配置
其他文件类型解析效果++			✅
支持独立服务调用	☐	☐	✅	v2.0.9版本独立服务器，包括chat服务，可独立调用（http）
支持快速开始模式	☐	☐	✅	快速开始，无需创建知识库，支持无文件问答
支持仅检索模式	☐	☐	✅	仅返回检索结果，不调用大模型进行问答
支持解析结果chunk内容可编辑，手动编辑	☐	☐	✅	v2.0.0版本支持手动编辑chunk内容，实时生效
支持解析图片文档，支持回			✅

4.2 V2.0.0版本新增细节优化：

● 支持前端配置API_BASE，API_KEY，文本分片大小，输出token数量，上下文消息数量等参数

● 优化Bot角色设定的指令遵循效果，每个Bot可单独配置模型参数

● 支持创建多个对话窗口，同时保存多份历史问答记录

● 支持问答记录保存成图片

● 优化上传文件逻辑，解析文件与问答请求独立，上传文件不再影响问答

● 优化镜像大小，旧版本镜像压缩后大小为18.94GB->新版镜像压缩后大小为4.88GB，降为原有的1/4，提供完整Dockerfile

● 检索优化，chunks新增片段融合与排序，聚合单文档或双文档

● 检索阶段和问答阶段均嵌入metadata信息，提升检索和问答效果

4.3 各阶段数据展示：

● 知识库所有文件上传进度展示 ● 知识库单个文件上传进度展示，上传各阶段耗时 ● 问答信息统计，包含问答各阶段耗时，tokens消耗，模型信息等 ● 用户信息统计，包含上传文件总数量，总耗时，问答历史记录等

五、安装指南

5.1 必要条件

系统	依赖	要求	说明
通用	RAM Memory	>= 20GB
Linux/Mac	Docker version	>= 20.10.5	[docker install]
Linux/Mac	docker compose version	>= 2.23.3	[docker-compose install]
Windows	Docker Desktop	>= 4.26.1（131620）	[Docker Desktop for Windows]

5.2 下载及安装

在 Linux 上启动docker-compose -f docker-compose-linux.yaml up -d# 在 Mac 上启动docker-compose -f docker-compose-mac.yaml up -d# 在 Windows 上启动docker-compose -f docker-compose-win.yaml up -d

这一步包括拉取镜像和启动，拉取镜像的过程较长，大概10多分钟。

5.3 使用演示

新建知识库：上传本地文件，系统自动解析。
问答体验：输入问题，获取精准答案，支持溯源查看原文。
自定义Bot：绑定知识库，打造专属AI助手。

QAnything默认端口：8777，运行成功后，即可在浏览器输入以下地址进行体验：http://localhost:8777/qanything/

新建知识库：

上传文档集：

录入问答集：

六、总结

QAnything是一款强大且易用的本地知识库问答工具，特别适合企业、研究团队或个人用户管理海量文档。
它的离线安全、多格式支持和高效检索能力，使其成为知识管理的利器。
无论是搭建内部知识库，还是快速查找文件内容，QAnything都能轻松胜任。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述