Llama3本地部署笔记（基于机智流）

本笔记基于机智流的Llama3部署教程

GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompass）

1. Web Demo搭建

先准备好环境：

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

mkdir -p ~/model
cd ~/model

再下载好模型

从OpenXLab中获取权重

或者软链接 InternStudio 中的模型，这里机智流已经在环境中准备好，只需要建立软链接即可

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

接下来，下载课程内容

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

再安装XTuner

cd ~
git clone -b v0.1.18 https:/