Langchain-Chatchat项目搭建

搭建Langchain-Chatchat:如下,分为,命令搭建和网页搭建两种方式

 方式一:通过命令方式搭建

搭建这个项目,分为两个部分:第一部分,安装xinference框架,用来载入LLM模型和嵌入模型。第二部分,克隆配置Langchain-Chatchat 项目。

第一步:先创建一个xinference的conda环境

创建这个环境是用来安装xinference的

conda create -n xinference python=3.10

进入这个环境 

conda activate xinference

 接下来我们安装xinference框架

 第二步:安装xinference框架

pip install "xinference[transformers]" -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

然后,拉起xinference的服务

XINFERENCE_HOME=自定义路径 xinference-local --host 0.0.0.0 --port 9997

这个,命令的详细信息,查看xinference的官网:这里 

注意:我这里用的是qwen-7b-chat模型,这个模型要求的引擎为Transformers,所以,我才用的是transformers。根据自己的模型去官网上查询。

 模型引擎等信息查询地址

 第三步:装载LLM模型

注意&#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值