配置语言模型环境心得(langchain-chatchat)

首先需要下载conda等软件,可自行百度,或者等我哪天电脑坏了要重新下载的话就再补充

"""

等待补充

"""

以linux为例,:langchain-chatchat为例:GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat(原Langchain-ChatGLM)基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain

首先在终端,cd到你喜欢的文件夹,准备下载文件

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat

然后根据github上的要求:确保你的机器安装了 Python 3.8 - 3.11,结合语言模型qwen的通义千问-7B-Chat · 模型库 (modelscope.cn)要求

  • python 3.8及以上版本
  • pytorch 1.12及以上版本,推荐2.0及以上版本
  • 建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项)

因此开始在终端打命令

# create一个python版本为3.8(随便),名字(随便)lxf的环境
conda create -n lxf python=3.8

# 激活
conda activate lxf

随后打开官网PyTorch(但是有时候进不去,一般进得去才方便)

进入previous versions of pytorch中,选择对应的cuda版本和torch版本直接复制下载

后面直接pip 对应github的环境文件就行了

### 本地环境安装和配置 Langchain-Chatchat #### 创建并激活 Conda 虚拟环境 为了确保项目的独立性和稳定性,建议创建一个新的 Conda 环境来管理所需的软件包。通过命令 `conda create --name chatchat python=3.9` 可以建立名为 "chatchat" 的 Python 3.9 版本的新环境[^2]。 接着,在终端输入 `conda activate ~/.anaconda3/envs/chatchat` 来激活此特定的 Anaconda 环境[^3]。 #### 下载 Langchain-Chatchat 和 Xinference 访问 GitHub 上官方仓库页面下载最新版本的 Langchain-Chatchat 应用程序,地址为 https://github.com/chatchat-space/Langchain-Chatchat 。这一步骤可以通过克隆 Git 仓库完成,即运行如下指令: ```bash git clone https://github.com/chatchat-space/Langchain-Chatchat.git ``` 对于 Xinference 组件,则按照项目文档中的指导进行获取与设置[^1]。 #### 安装依赖项 进入已下载的应用目录后,利用 pip 工具依据 requirements.txt 文件自动解析并安装所有必要的Python库文件。通常情况下只需执行以下命令即可实现自动化安装过程: ```bash pip install -r requirements.txt ``` 如果遇到权限问题或其他错误提示,请尝试加上 sudo 或者管理员身份重新操作上述命令;另外也可以考虑使用 venv 模块构建隔离式的 Python 运行空间以便更好地控制第三方模块版本兼容性等问题。 #### 加载模型和服务启动 当所有的准备工作完成后,可以依次调用两个脚本来准备所需的大规模预训练语言模型及其嵌入表示形式: - 执行 Shell Script `./xinference_model.sh` 用于加载基础的语言理解能力; - 接着再运行另一个脚本 `./xinference_model_emb.sh` ,它负责初始化向量检索服务端口等额外功能支持。 最后,只需要简单地键入 `chatchat start -a` 即可全面开启整个聊天系统的运作状态,并允许外部客户端连接请求交互对话接口。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值