使用Langchain-chatchat搭建RAG应用，并使用postman进行测试验证

wshzd

已于 2024-10-23 15:43:08 修改

阅读量1.7k

点赞数 12

分类专栏： RAG 文章标签： langchain postman 测试工具

于 2024-10-17 15:25:52 首次发布

本文链接：https://blog.youkuaiyun.com/wshzd/article/details/143019806

版权

Github地址：https://github.com/chatchat-space/Langchain-Chatchat

一、概述

LangChain-Chatchat (原 Langchain-ChatGLM)，一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

本项目的最新版本中可使用 Xinference、Ollama 等框架接入 GLM-4-Chat、 Qwen2-Instruct、 Llama3 等模型，依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。

本项目支持市面上主流的开源 LLM、 Embedding 模型与向量数据库，可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

原理介绍：https://www.bilibili.com/video/BV13M4y1e7cN/?share_source=copy_web&vd_source=e6c5aafe684f30fbe41925d61ca6d514

功能	0.2.x	0.3.x
模型接入	本地：fastchat 在线：XXXModelWorker	本地：model_provider,支持大部分主流模型加载框架在线：oneapi 所有模型接入均兼容openai sdk
Agent	❌不稳定	✅针对ChatGLM3和Qwen进行优化,Agent能力显著提升
LLM对话	✅	✅
知识库对话	✅	✅
搜索引擎对话	✅	✅
文件对话	✅仅向量检索	✅统一为File RAG功能,支持BM25+KNN等多种检索方式
数据库对话	❌	✅
多模态图片对话	❌	✅ 推荐使用 qwen-vl-chat
ARXIV文献对话	❌	✅
Wolfram对话	❌	✅
文生图	❌	✅
本地知识库管理	✅	✅
WEBUI	✅	✅更好的多会话支持,自定义系统提示词...