手把手教你配置本地开源大模型

手把手教你配置本地开源大模型

当前，人工智能、大模型、大数据等技术加速迭代升级，日益融入社会发展各个领域，形成创新发展的新动力。为加快公司数字化转型，围绕公司管理业务、设计业务等方向组建了大模型技术赋能小组。本文介绍如何在Linux系统上部署一套开源大模型及知识库。

一、环境准备

1.1 准备Linux系统

1.2 安装Anaconda

Anaconda，是一个开源的，专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。Anaconda可以便捷获取包且对包进行管理。

1.2.1 下载Anaconda安装包

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-Linux-x86_64.sh

1.2.2 安装Anaconda

bash Anaconda3-2023.07-Linux-x86_64.sh

安装过程中会出现许可协议提示，按 Enter 键查看协议内容，按 Q 键退出查看，然后输入 yes 同意协议。安装路径建议使用默认路径（按 Enter 键确认）。

1.2.3 配置环境变量

使用vim指令，手动编辑 .bashrc 文件，在文件末尾添加以下内容：

export PATH="$HOME/anaconda3/bin:$PATH"

保存文件后，输入

source ~/.bashrc

1.2.4 验证安装成功

conda --version

1.3 使用Anaconda创建大模型环境

conda create -n chat python=3.10

1.4 进入环境

conda activate chat 

二、安装Langchain-chatchat

2.1 创建文件夹并进入

mkdir Langchain-Chatchat                                                         

cd /data/llm/Langchain-Chatchat                                                           

2.2 下载Langchain-chatchat

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

2.3 安装Langchain-chatchat依赖

2.3.1 安装 Poetry

pip install Poetry                                                             

2.3.2 使poetry使用virtualenv python environment

poetry config virtualenvs.prefer-active-python true

2.3.3 查看刚刚poetry设置的信息，输入下面命令打印“true”就说明设置成功：

poetry config virtualenvs.prefer-active-python

2.3.4 进入主项目目录，并安装 Langchain-Chatchat 依赖

cd  Langchain-Chatchat/libs/chatchat-server/

poetry install --with lint,test -E xinference

三、部署并使用Xinference

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。

3.1 创建文件夹并进入

mkdir xinference                                                          

cd /data/llm/xinference                                                            

3.2 使用conda命令创建新环境

conda create -n xinference python=3.10

3.3 部署Xinference

pip install "xinference[all]"

xinference-local --host 0.0.0.0 --port 9997

3.4 查看日志并进入Xinference前端网站

3.5 进入 http://127.0.0.1:9997/

                 

下载想要使用的llm模型和Embedding模型

输入必须配置，并下载模型。

进入运行的模型中可试用此模型。

四、配置Langchain-chatchat并使用自己创建的模型

4.1 查看docs文件夹下文件了解项目信息

4.2 执行以下命令初始化项目配置文件和数据目录：

```shell

cd libs/chatchat-server

python chatchat/cli.py init

4.3 修改model_settings.yaml文件

将此处改为想要使用的大模型名称

4.4 启动Langchain-chatchat

python chatchat/cli.py start -a

4.5 查看日志

4.6 进入http://0.0.0.0:8522/访问大模型

到此，本地大模型及知识库部署完毕。