基于AutoDL部署langchain-chatchat-0.3.0

目录

前言

一、本次基于AutoDl服务器实现部署

1.1 配置AutoDL环境

 1.2 了解AutoDl学术加速的使用

1.3 基于AutoDL的虚拟环境激活

二、设置和安装Langchain-Chatchat及相关依赖

三、Xinference框架部署与大模型 & embidding模型加载

四、启动项目

五、再次启动项目 

六、注意事项

6.1 使用AutoDL代理工具访问虚拟机中的服务（强推）

6.2 修改默认监听地址以允许远程访问（官方提供，我没用到）

 七、参考文章

---

 

前言

Home · chatchat-space/Langchain-Chatchat Wiki (github.com)

 

langchain-chatchat-0.3.0新版本相比于之前2.几的版本复杂些，部署的时候和启动方式都有一系列的改变,也遇到一些坑和解决办法，接下来就和我一步一步进行搭建。

一、本次基于AutoDl服务器实现部署

1.1 配置AutoDL环境

注册好autodl账户之后，开始在上面租服务器，地区我租的重庆A区的，GPU我选择的是RTX4090，基础镜像选择的是Pytorch-2.3.0-python-3.12（ubuntu22.04）- cuda版本12.1。

 1.2 了解AutoDl学术加速的使用

在该项目中我并没有使用到，我是自己有挂一个VPN。有需要的话可以使用以下官方提供的方法进行文件的下载。

学术加速，提高在国外网站（github等学术网站）拉取文件的速度：

source /etc/network_turbo

取消学术加速：

unset http_proxy && unset https_proxy

1.3 基于AutoDL的虚拟环境激活

对于一个全新的机子来说新建完虚拟环境无法做到直接激活，重新加载你的shell配置
输入以下指令：

source ~/.bashrc

conda init

二、设置和安装Langchain-Chatchat及相关依赖

1.打开终端从github上将新版本的项目拉取下来，指令如下

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

2.新建一个虚拟环境

conda create -n glm4_text python==3.11

<