开源、离线、免费商用的大模型知识库来袭！快速搭建个人和企业私有智能知识库！

最新推荐文章于 2025-05-03 17:19:45 发布
最新推荐文章于 2025-05-03 17:19:45 发布
阅读量1.1k 收藏 28
点赞数 21
文章标签： 开源 如何微调大语言模型 语言模型 人工智能 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85773741/article/details/145797297
版权

你是否也有这样的桌面？为了方便找材料，全部放到了桌面，最后结果就是“用起一时爽，找起火葬场”。

（图片来源于网络）

你是否也是盘即个人电脑磁使再怎么不够用，也舍不得删除几年前做的运维方案、架构方案、设计方案文档？最后即使文档都保存了，存云盘了，到用的时候依旧发现找不到，找的也不是想要的。

|大模型知识库来袭

现在不用再担心了找不到材料文档了，GitHub开源了一款可离线，支持检索增强生成(RAG)大模型的知识库项目。虽然开源时间不长，但是势头很猛，已经斩获25K Star。具备以下特点：

  • 项目利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案；

  • 项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入；

  • 项目方案采用Apache License，可以免费商用，无需付费。

总结下重点就是：

  • 支持中文，可私有化部署，免费商用！

  • 支持中文，可私有化部署，免费商用！

  • 支持中文，可私有化部署，免费商用！

重要的事情说三遍********

项目名称：Langchain-Chatchat``项目地址：https://github.com/chatchat-space/Langchain-Chatchat

📺 原理介绍视频（点击可看视频）

从文档处理角度来看，实现流程如下：

技术路线图：

  • Langchain 应用

  • 基础React形式的Agent实现，包括调用计算器等

  • Langchain 自带的Agent实现和调用

  • 智能调用不同的数据库和联网知识

  • Bing 搜索

  • DuckDuckGo 搜索

  • Metaphor 搜索

  • 接入非结构化文档

  • 结构化数据接入

  • 分词及召回

  • .txt, .rtf, .epub, .srt

  • .eml, .msg

  • .html, .xml, .toml, .mhtml

  • .json, .jsonl

  • .md, .rst

  • .docx, .doc, .pptx, .ppt, .odt

  • .enex

  • .pdf

  • .jpg, .jpeg, .png, .bmp

  • .py, .ipynb

  • .csv, .tsv

  • .xlsx, .xls, .xlsd

  • 接入不同类型 TextSplitter

  • 优化依据中文标点符号设计的 ChineseTextSplitter

  • 本地数据接入

  • 搜索引擎接入

  • Agent 实现

  • LLM 模型接入

  • 支持通过调用 FastChat api 调用 llm

  • 支持 ChatGLM API 等 LLM API 的接入

  • 支持 Langchain 框架支持的LLM API 接入

  • Embedding 模型接入

  • 支持调用 HuggingFace 中各开源 Emebdding 模型

  • 支持 OpenAI Embedding API 等 Embedding API 的接入

  • 支持 智谱AI、百度千帆、千问、MiniMax 等在线 Embedding API 的接入

  • 基于 FastAPI 的 API 方式调用

  • Web UI

  • 基于 Streamlit 的 Web UI

**|**大模型知识库来袭

Docker 部署

一行代码搞定，但是建议网速不好的同学不要尝试

docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7

常规模式本地部署方案

1. 环境配置

# 首先，确信你的机器安装了 Python 3.8 - 3.10 版本``$ python --version``Python 3.8.13``   ``# 如果低于这个版本，可使用conda安装环境``$ conda create -p /your_path/env_name python=3.8``   ``# 激活环境``$ source activate /your_path/env_name``   ``# 或，conda安装，不指定路径, 注意以下，都将/your_path/env_name替换为env_name``$ conda create -n env_name python=3.8``$ conda activate env_name # Activate the environment``   ``# 更新py库``$ pip3 install --upgrade pip``   ``# 关闭环境``$ source deactivate /your_path/env_name``   ``# 删除环境``$ conda env remove -p  /your_path/env_name

接着，开始安装项目的依赖

# 拉取仓库``$ git clone --recursive https://github.com/chatchat-space/Langchain-Chatchat.git``   ``# 进入目录``$ cd Langchain-Chatchat``   ``# 安装全部依赖``$ pip install -r requirements.txt``   ``# 默认依赖包括基本运行环境（FAISS向量库）。以下是可选依赖：``- 如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。``- 如果要开启 OCR GPU 加速，请安装 rapidocr_paddle[gpu]``- 如果要使用在线 API 模型，请安装对用的 SDK``

此外，为方便用户 API 与 webui 分离运行，可单独根据运行需求安装依赖包。

  • 如果只需运行 API，可执行：
$ pip install -r requirements_api.txt``   ``# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。
  • 如果只需运行 WebUI，可执行：
$ pip install -r requirements_webui.txt

2. 模型下载

如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。

以本项目中默认使用的 LLM 模型 THUDM/ChatGLM3-6B 与 Embedding 模型 BAAI/bge-large-zh 为例：

下载模型需要先安装 Git LFS ，然后运行

$ git lfs install``$ git clone https://huggingface.co/THUDM/chatglm3-6b``$ git clone https://huggingface.co/BAAI/bge-large-zh

‍

3. 初始化知识库和配置文件

按照下列方式初始化自己的知识库和简单的复制配置文件

$ python copy_config_example.py``$ python init_database.py --recreate-vs

4. 一键启动

按照以下命令启动项目

$ python startup.py -a

最轻模式本地部署方案

该模式的配置方式与常规模式相同，但无需安装 torch 等重依赖，通过在线API实现 LLM 和 Ebeddings 相关功能，适合没有显卡的电脑使用。

$ pip install -r requirements_lite.txt``$ python startup.py -a --lite

Demo示例

  • Web UI 对话界面：

  • Web UI 知识库管理页面：

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

1.学习路线图

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

（都打包成一块的了，不能一一展开，总共300多集）

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

5.免费获取

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码或者点击以下链接都可以免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

在这里插入图片描述

AGI学习社
关注
AI大模型探索之路-实战篇3：基于私有模型GLM-企业级知识库开发实战
寻道AI，探索AI无限可能！
04-22 4099
在当今信息时代，数据已经成为企业的核心资产之一。对于许多企业而言，信息安全和私密性是至关重要的，因此对外部服务提供的数据接口存在天然的警惕性。因此常规的基于在线大模型接口落地企业知识库项目，很难满足这些企业的安全需求。面对这样的挑战，只有私有化的部署方案才能满足企业需求；在实战篇2中《AI大模型探索之路-实战篇2：基于CVP架构-企业级知识库实战落地》，设计实现了基于CVP架构的企业知识库。本篇文章中将对企业知识库进行进一步的改造升级，以满足企业安全性方面的需求；
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
06-13 4027
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
Cursor从入门到上手
u012808853的博客
01-08 6504
通过以上步骤，你会发现使用 Cursor 的整个过程非常流畅，我们只需要提供准确的提示词，Cursor 就能够根据我们的需求，生成出我们想要的效果。无论是开发项目，还是探索新的编程玩法，Cursor 都是一个很好的开发工具，大家可以根据自己的实际需求，进一步挖掘 Cursor 的潜力，创造出更多有趣的作品。输入提示词：向 Cursor 提供一个简单的提示词，比如“创建一个飞机大战游戏的基本框架”，Cursor 会根据你的提示开始生成代码。再次查看效果：修改完成后，再次查看游戏效果，直到你满意为止。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8822
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
本地知识库构建攻略：利用开源大模型快速实现，非常详细收藏这一篇就够了
最新发布
2401_84495872的博客
05-03 1563
人工智能（Artificial Intelligence，AI）技术自20世纪50年代诞生以来，已经成为一门引领未来的综合性高技术学科。它在多个领域大放异彩，如大数据分析、自动驾驶、智慧金融和智能机器人等。其发展历程经历了初级期、发展期、低谷期、进步期和繁荣期。艾伦·图灵的图灵测试为人工智能的定义奠定了基础。在初级期和发展期，人工智能技术初步发展，移动机器人Shakey和聊天机器人Eliza相继诞生。在低谷期，人工智能遭遇发展瓶颈，受限于计算机的内存和处理速度，进展缓慢。
本地Ollama部署DeepSeek R1模型接入Word
qq_63708623的博客
02-04 1万+
而DeepSeek由于近期服务器压力较大，暂时停止了API key的注册服务，那么要想实现DeepSeek与Word的结合，我们也可以通过本地部署的方式进行。此代码在上一次代码的基础上进行了优化，对大模型md格式的输出进行了优化，去掉了md格式的修饰，只保留纯文本；在上一个版本中，大模型输出的“\n”会被当做文本显示，而此版本的代码直接将“\n”当作回车处理，结果更加美观。小编的笔记本显存为6G，因此选择最小的1.5b模型进行部署，如果显存更大的话，可以选择更大的模型。本地处理减少网络传输，响应速度更快。
办公新利器：DeepSeek+Word，让你的工作更高效
qq_63708623的博客
02-02 2万+
DeepSeek与Word的梦幻联动，将为你开启高效办公的新篇章！熟悉的Word界面中，只需轻点鼠标，就能召唤出强大的DeepSeek，让它为你快速检索信息、精准翻译文本、智能生成内容…… 告别在不同软件间来回切换的繁琐，告别低效的信息获取方式，让办公效率飞起来！
将DeepSeek接入Word，打造AI办公助手
VBAMatrix的博客
01-29 2万+
最近，DeepSeek热度一路高涨，成为AI领域的焦点。通过开放的API，我们可以将DeepSeek接入Word，直接进行AI对话。更进一步，还能利用DeepSeek辅助修改文档，甚至提出一些排版建议。Word报告工具已经新增“DeepSeek”功能，只需要配置一下在DeepSeek官网申请的API Key，就可以直接在Word文档和DeepSeek开始对话。
基于开源大模型Vicuna-13B构建私有制库问答系统
u011728347的专栏
05-18 4933
使用开发的大模型应用项目和大模型，部署一个私有知识库使用 基于开源大模型Vicuna-13B构建私有制库问答系统
基于大模型LLama2+Langchain构建知识库问答系统
space01的专栏
10-11 1507
知识库需求在各行各业中普遍存在，例如制造业中历史故障知识库、游戏社区平台的内容知识库、电商的商品推荐知识库和医疗健康领域的挂号推荐知识库系统等。传统知识库搜索系统基于关键字匹配，缺少对用户问题理解和答案二次处理能力。为保证推荐系统的实效性和准确性，需要大量的数据/算法/软件工程师的人力投入和包括硬件在内的物力投入。其次，为了进一步提高搜索准确率，如何引导用户搜索描述更加准确和充分利用用户行为优化搜索引擎也是常见的用户痛点。此外，如何根据企业知识库直接给出用户提问的答案也是众多企业中会遇见的技术瓶颈。
探索 AnythingLLM：借助开源 AI 打造私有化智能知识库
ServiceMesher
12-19 2823
探索如何使用开源项目 AnythingLLM 构建私有化智能知识库。通过 RAG 技术，将文档转化为可检索向量，结合大语言模型实现高效问答，适用于企业与个人开发者。阅读原文请转到：https://jimmysong.io/blog/building-private-ai-knowledge-base-anythingllm/随着大语言模型（LLM）的快速发展，将企业内部知识库与 AI 工具结合成为...
DeepSeek + 本地知识库：真的太香了！保姆级教程，建议收藏！
musicml的博客
02-09 2万+
大家好，我是玄姐。正文开始之前，先给我自己打个广告，大家开工大吉，为了回馈粉丝们的支持，原价199元的《基于 DeepSeek 打造的 AI Agent 智能体项目实战直播训练营》，直接降价到19元，今天再开放一天报名特权，仅限99名。回到正题。这个春节，DeepSeek 实在太火爆了。今天分享下 DeepSeek + 本地知识库的部署。先看个全局数据流程图，如下图所示。基于本地的 DeepS...
办公利器：DeepSeek+Word教程，让你的工作更高效！
Datawhale
02-07 1万+
Datawhale干货作者：尚启峰，高校行组织者DeepSeek + Word ，让你的工作更高效！在 Word 界面里，选中文字点击按钮，就能让 DeepSeek 为你快速检索信息、精准翻译文本、智能生成内容等等。这样就不需要在多个软件之间频繁切换，告别低效的信息处理方式，让工作效率大幅提升！　效果演示按照文本教程完成操作后，Word 的选项卡中将会出现 DeepSeek 的生成图标，选中文...
AI编程革命：Cursor从入门到精通的实战指南
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
02-26 671
Cursor不仅是代码生成工具，更是开发者思维的延伸。建议每周投入2-3小时专项练习，重点掌握Cmd K组合命令与上下文关联技巧。记住：AI辅助的核心是放大开发者的创造力，而非替代编程能力。关注官方社区动态，及时获取最新功能更新，让Cursor真正成为你手中的智能开发利剑。
2024年最新免费AI大模型API汇总及国内大模型使用教程（附代码）
weixin_53880910的博客
08-08 9209
腾讯混元大模型接入地址https://console.cloud.tencent.com/hunyuan/start 点击创建密钥，到新页面，新建密钥 也可以到调试界面进行调试使用，在最开始表格中的文档查看，进去点击调试好了，选择你的代码复制到本地即可。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2872
TensorFlow相关组件的安装
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1222
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
Java大模型开发框架LangChain4j从入门到精通：高级Api之AiServices对话记忆
Java癫疯的博客
03-19 1218
上期我们介绍了low-level的api，这些API提供了高度的灵活性，允许开发者自由组合各个组件以满足复杂需求，但相应地，也带来了较高的编码工作量。为了平衡灵活性与开发效率，本期我们将聚焦于langchain4j的high-level API——AiServices，它以更高的封装度简化业务逻辑的实现，显著降低代码复杂度。AIServices集成了多种高级功能，如（如搜索引擎、数据库查询等）、以及（Retrieval-Augmented Generation）等，旨在帮助开发者快速搭建智能对话系统。
Python安装教程，超详细！！！
热门推荐
程序员小麦的博客
06-29 19万+
在下载页面可以看到很多不同版本的下载链接。其中，标记 x86 的为 32 位安装包，x86-64 为 64 位安装包。executable installer为完整的安装包，下载完即可安装；web-based installer 体积更小，但安装时仍需联网下载其他部分。一般网络不好时选择 executable installer，以保证安装过程不会中断。
RAG企业知识库落地方案
03-22
<think>嗯，用户想了解如何在企业知识库中实施RAG（检索增强生成）方案。首先，我需要回顾一下RAG的基本原理和现有的开源项目，比如QAnything和ElasticSearch-Langchain。记得RAG结合了检索模型和生成模型，利用私有数据增强生成结果，适合解决数据时效性和隐私问题。 用户可能关心实施方案的具体步骤，我需要分阶段说明。第一阶段是知识库构建，包括数据收集和处理。企业可能有多种格式的文档，比如PDF、Word等，所以需要解析工具。例如，QAnything支持多格式文档解析，可能是一个好的参考[^1]。另外，数据清洗和分块也很重要，尤其是处理长文本时，合理的分块策略能提升检索效果。 接下来是检索系统设计。这里需要考虑混合检索，结合Elasticsearch的关键词检索和向量检索，提高准确性和召回率。引用中提到Elasticsearch-Langchain项目，可能提供了相关实现方法[^2]。同时，优化检索效率，比如使用Faiss或HNSW进行向量索引，可以加速查询。 然后是生成模型部分。选择合适的LLM，如开源的Llama 2或商用API，需根据企业需求平衡性能和成本。提示词工程也很关键，设计清晰的指令让模型生成符合需求的回答。可能还需要微调模型，使其更适应特定领域的数据，提升生成质量。 部署和优化阶段，需要考虑本地化部署，确保数据安全。引用中的项目提到完全本地化推理，适合企业私域部署[^4]。此外，持续监控和反馈机制能帮助系统迭代优化，比如用户反馈错误答案，调整检索策略或模型参数。 用户可能还想知道如何保障数据安全，这一点在方案中应强调私有化部署和访问控制。同时，如何处理非结构化数据，可能需要OCR或表格解析技术，QAnything已经支持这些功能。 最后，生成相关问题时要覆盖用户可能的后续疑问，比如数据准备、混合检索优势、本地化部署和安全措施，以及评估方法。确保回答结构清晰，步骤明确，引用相关项目作为示例，增强可信度。</think>### RAG在企业知识库的落地实施方案 #### 一、核心架构设计 RAG系统需包含知识库构建、检索增强、生成优化三大模块。典型流程为： 1. **知识库构建**：解析企业文档（PDF、Word等），提取结构化/非结构化数据 2. **检索阶段**：通过混合检索（关键词+向量）获取相关知识片段 3. **生成阶段**：将检索结果输入大语言模型生成最终回答 示例系统架构： ``` $$ \begin{array}{ccc} \text{企业文档} & \rightarrow & \text{解析模块} \\ & & \downarrow \\ \text{向量数据库} & \leftarrow & \text{Embedding模型} \\ & & \uparrow \\ \text{用户查询} & \rightarrow & \text{混合检索} \rightarrow \text{LLM生成} \end{array} $$ ``` #### 二、实施步骤分解 1. **知识库构建阶段** - 数据采集：对接企业知识管理系统，支持PDF解析（引用QAnything的文档解析能力） - 数据清洗：去除重复/无效内容，使用正则表达式处理特殊格式 - 分块策略：采用滑动窗口算法，设置$window\_size=512$，$overlap=64$字符 2. **检索系统设计 - 混合检索实现： $$ score = \alpha \cdot BM25(q,d) + (1-\alpha) \cdot cosine\_similarity(v_q,v_d) $$ 其中$\alpha$取值建议0.3-0.7 - 使用Elasticsearch搭建关键词检索服务，结合Faiss构建向量索引[^3] 3. **生成优化策略 - 提示词工程模板： ```text 你是一个企业知识助手，请根据以下上下文： {context_str} 回答问题：{query_str} 若信息不足请回答"不清楚" ``` #### 三、关键实现技术 | 模块 | 技术选型 | 开源方案参考 | |------|----------|--------------| | 文档解析 | PDFplumber, Unstructured | QAnything | | 向量模型 | BGE-M3, Text2Vec | HuggingFace Models | | 检索框架 | Elasticsearch+Langchain | ElasticSearch-Langchain项目[^2] | | 生成模型 | Llama2-13B, ChatGLM3 | 本地化部署方案 | #### 四、企业级优化建议 1. **数据安全**：采用全链路加密传输，支持GPU裸金属部署 2. **性能优化**：建立缓存机制，对高频查询实现响应时间<500ms 3. **效果评估**：构建测试集验证指标： - 检索召回率$Recall@5 > 85%$ - 生成准确率$Accuracy > 90%$ - 幻觉率$Hallucination\_Rate < 5%$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值