觉得搞一个AI的智能问答知识库很难吗?那是你没有找对方向和工具,
今天我们分享一个开源项目,帮助你快速构建基于Langchain 和LLM 的本地知识库问答,在GitHub已经获得27K star,它就是:Langchain-Chatchat
Langchain-Chatchat 是什么
Langchain-Chatchat基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。
本项目利用 langchain 思想实现的基于本地知识库的问答应用,目前langchain可以说是开发LLM应用的首选框架,而本项目的目标就是建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
依托于本项目支持的开源 LLM 与 Embedding 模型,本项目可实现全部使用开源模型离线私有部署。与此同时,本项目也支持 OpenAI GPT API 的调用,并将在后续持续扩充对各类模型及模型 API 的接入。
实现原理
本项目全流程使用开源模型来实现本地知识库问答应用,最新版本中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务,或使用基于 Streamlit 的 WebUI 进行操作。
可以通过下面的图来直观看到的整个流程的执行过程,非常值得参考学习。
再从从文档处理角度来看,实现流程如下:
这里需要注意,本项目未涉及微调、训练过程,但可利用微调或训练对本项目效果进行优化。<