Langchain-Chatchat+Xinference集成部署

Langchain-Chatchat+Xinference集成部署
安装环境：
系统：Anolis OS 8.9
python版本：Python 3.9.19
Langchain-Chatchat版本：0.3.1.3
Xinference版本：v0.13.3
模型选择（下载时需要科学上网）：
qwen2-instruct
bge-large-zh-v1.5

部署内网IP：192.168.18.55
安装目录：/data/langchain/chatchat_data

一、初始化环境安装

yum install -y python39-devel python39 mesa-libGL
pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple

二、xinference模型框架安装

pip3 install "xinference[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple

2.1 xinference模型框架启动及模型下载

XINFERENCE_MODEL_SRc=modelscope xinference-local --host 192.168.18.55 --port 9997

启动后访问：http://192.168.18.55:9997
进入xinference控制台下载模型
下载模型时需要科学上网去下载

2.2 下载qwen2-instruct模型

2.3 查看qwen2-instruct下载成功后并自动运行

2.4 下载bge-large-zh-v1.5模型

2.5 下载成功后会自动运行

三、安装langchain

mkdir -p /data/langchain/chatchat_data

pip3 install langchain-chatchat -U -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "langchain-chatchat[xinference]" -U -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install