使用AnythingLLM + 本地AI模型来构建私有知识系统 避坑问题整理

本文使用AnythingLLM 来构建私有知识系统，借助AnythingLLM 提供的总体框架 ，调用了Ollama适配的本地deepseek/llama3 模型进行推理、文本嵌入转矢量。并通过投喂语料来让聊天系统自动查询知识库作为响应的主要来源。验证结果表明， AnythingLLM 在集成度和易用性方面非常优秀，但是在响应有知识系统构建的有效性方面体验不太好。文中对验证过程遇到的问题进行了总结 。后续将考虑使用langchain基于python库进行知识 库构造的问答推理，以期改进体验。

简介

AnythingLLM 是由 Mintplex Labs 开发的开源工具，旨在为个人和企业提供高效、安全且易于部署的私有知识库解决方案。其包含以下主要功能 ：

多模态知识库管理

• 支持上传 PDF、TXT、DOCX 等文档，自动处理本地或远程文件（如 YouTube 视频、网页内容），并通过向量数据库（如 Chroma、Pinecone）实现高效检索。
• 提供 “工作区” 机制，按主题或部门分类管理文档，支持多用户协作与权限控制。

RAG（检索增强生成）技术

• 结合本地文档内容与大语言模型（LLM）生成答案，支持引用标注和实时网络搜索（通过代理模式接入搜索引擎）。
• 兼容主流 LLM（如 OpenAI、DeepSeek R1、Llama 系列）和嵌入模型（如 MiniLM、BGE），用户可灵活选择。

本地化与隐私保护

• 默认本地部署，数据存储于本地