LangChain-ChatGLM 开源项目使用与部署指南

LangChain-ChatGLM 开源项目使用与部署指南

Langchain-Chatchat 项目地址: https://gitcode.com/gh_mirrors/lang/Langchain-Chatchat

1. 项目介绍

LangChain-ChatGLM 是一个基于 ChatGLM 等大语言模型与 LangChain 等应用框架的开源项目，旨在实现一个开源、可离线部署的 RAG 与 Agent 应用项目。该项目提供了一种利用本地知识库进行中文场景下的问答应用的解决方案，支持市面上主流的开源 LLM、Embedding 模型与向量数据库。

2. 项目快速启动

软硬件要求

• 软件要求：项目支持在 Python 3.8-3.11 环境中使用，并在 Windows、macOS、Linux 操作系统中进行了测试。
• 硬件要求：项目支持 CPU、GPU、NPU、MPS 等不同硬件条件。

安装 LangChain-ChatGLM

项目提供了 Python 库形式的安装方式，执行以下命令进行安装：

pip install langchain-chatchat -U

确保使用官方 Pypi 源或清华源以保证库的最新性。

模型推理框架并加载模型

项目支持多种模型推理框架接入，如 Xinference、LocalAI、Ollama、FastChat 等。用户需先根据所选框架的文档进行部署与模型加载。

初始化项目配置与数据目录

设置项目存储配置文件和数据文件的根目录：

# 在 Linux 或 macOS
export CHATCHAT_ROOT=/path/to/chatchat_data

# 在 Windows
set CHATCHAT_ROOT=/path/to/chatchat_data

然后执行初始化命令：

chatchat init

配置模型与知识库路径

在 model_settings.yaml 中配置默认使用的 LLM 名称和 Embedding 名称，并在 basic_settings.yaml 中配置知识库路径。

初始化知识库

确保模型推理框架及对应 Embedding 模型已启动，并完成模型接入配置后，执行以下命令初始化知识库：

chatchat kb -r

启动项目

执行以下命令启动项目：

chatchat start -a

启动成功后，项目将默认监听地址 127.0.0.1，如需通过其他 IP 访问，请修改 basic_settings.yaml 中的 DEFAULT_BIND_HOST。

3. 应用案例和最佳实践

（本节内容需根据实际项目案例和最佳实践进行编写，此处仅为示例）

• 案例一：使用 LangChain-ChatGLM 实现企业内部知识库问答系统，提高员工工作效率。
• 最佳实践：针对不同业务场景，优化模型配置和知识库结构，以达到最佳问答效果。

4. 典型生态项目

（本节内容需根据项目生态和关联项目进行编写，此处仅为示例）

• 关联项目一：使用 LangChain-ChatGLM 进行智能客服系统开发，提升客户服务质量。
• 关联项目二：结合 LangChain-ChatGLM 和物联网技术，开发智能家居问答助手。

Langchain-Chatchat 项目地址: https://gitcode.com/gh_mirrors/lang/Langchain-Chatchat