搭建Langchain-Chatchat:如下,分为,命令搭建和网页搭建两种方式
方式一:通过命令方式搭建
搭建这个项目,分为两个部分:第一部分,安装xinference框架,用来载入LLM模型和嵌入模型。第二部分,克隆配置Langchain-Chatchat 项目。
第一步:先创建一个xinference的conda环境
创建这个环境是用来安装xinference的
conda create -n xinference python=3.10
进入这个环境
conda activate xinference
接下来我们安装xinference框架
第二步:安装xinference框架
pip install "xinference[transformers]" -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
然后,拉起xinference的服务
XINFERENCE_HOME=自定义路径 xinference-local --host 0.0.0.0 --port 9997
这个,命令的详细信息,查看xinference的官网:这里
注意:我这里用的是qwen-7b-chat模型,这个模型要求的引擎为Transformers,所以,我才用的是transformers。根据自己的模型去官网上查询。
第三步:装载LLM模型
注意&#