Llama 3 Web Demo 部署、 XTuner 微调、LMDeploy部署 Llama 3 模型

一、Llama3 Web Demo部署

配置环境

1. 使用conda创建虚拟环境，并安装对应的库

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

下载模型

1. 新建文件夹

mkdir -p ~/model
cd ~/model

2. 从OpenXLab中获取权重（开发机中不需要使用此步）
   安装 git-lfs 依赖

# 如果下面命令报错则使用 apt install git git-lfs -y
conda install git-lfs
git-lfs install

3. 下载模型或者软链接 InternStudio 中的模型

# 下载模型
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct
# 软链接
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

Web Demo 部署

1. 下载Llama3-Tutorial源码

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

2. 安装 XTuner 时会自动安装其他依赖

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

3. 运行 web_demo.py

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
 ~/model/Meta-Llama-3-8B-Instruct

4. 使用VSCode 远程连接开发机，并配置VSCode端口映射
   参考链接: VSCode 远程连接 InternStudio 开发机
5. 配置端口转发（我们这里只需要配置8501端口即可）
   
   最终效果&#x