部署Langchain-Chatchat

概述

1. 此文档主要描述Langchain-Chatchat项目的源码安装过程,项目版本为0.3.1

2. 使用ollama作为模型运行框架包括LLM和Embedding模型

3. LLM使用qwen:7b

环境准备

参考笔记《LLM基础环境准备》  

下载Langchain-Chatchat项目

# 拉取git仓库
git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 下载发布包(一般不使用)
wget https://github.com/chatchat-space/Langchain-Chatchat/archive/refs/tags/v0.3.1.zip
unzip v0.3.1.zip
mv Langchain-Chatchat-0.3.1 Langchain-Chatchat

创建conda环境和依赖管理包

conda create -n langchain-chat python==3.9
source .bashrc
cd Langchain-Chatchat
conda activate langchain-chat
pip install poetry
#  使用如下命令使 Poetry 使用 virtualenv python environment
poetry config virtualenvs.prefer-active-python true

安装依赖包


                
### 如何部署 Langchain Chatchat 项目 #### 准备工作 为了成功部署Langchain-Chatchat,需先准备好运行环境。这通常是在支持Python的环境中完成,比如阿里云DSW服务器可以作为理想的平台之一[^2]。 #### 创建实例并配置环境 在阿里云上申请DSW服务试用,并创建一个新的实例用于部署Langchain-Chatchat应用。确保该实例已正确安装所需的操作系统以及必要的开发工具链。 #### 安装依赖项 通过命令行工具来获取和设置所有必需的软件包。对于大多数情况来说,这意味着要执行一系列`pip install`指令以加载Python库和其他资源文件。具体操作如下所示: ```bash pip install -r requirements.txt ``` 此步骤将依据项目的实际需求自动下载安装所需的第三方模块。 #### 下载预训练模型与初始化知识库 根据官方文档指示,从指定位置拉取预先训练好的AI对话模型权重,并将其放置于适当目录下以便后续调用。同时按照指南构建初始的知识数据库,这对于实现有效的问答交互至关重要[^1]。 #### 启动应用程序 一切准备就绪之后,可以通过简单的脚本或命令来激活整个系统。一般而言,开发者只需运行特定的一键启动脚本来使服务上线即可。例如,在终端输入以下命令可快速开启服务端口监听状态: ```bash python app.py --host=0.0.0.0 --port=8080 ``` 上述命令假设入口文件名为`app.py`,并且指定了对外提供HTTP访问的服务地址及端口号。 #### 测试验证 最后一步是对新搭建起来的语言模型聊天机器人进行全面的功能测试,确认其能够正常响应用户的提问请求。此时应该参照官方给出的例子来进行基本功能检测,确保各项性能指标均达到预期水平。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大叔比较胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值