从0部署中文Llama3大模型，租服务器省钱极速版

基本硬件：

V100-32G，python3.10

1.下载项目（我是本地下载再映射上去，映射路径文件夹起名为Chinese-Llama，注意一下）

https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

也可以走git那一套流程

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca-3.git

2.创建conda环境

conda create -n llava python=3.10
conda activate llava
cd Chinese-Llama

4.下载包

pip install -r requirements.txt

5.下载基座权重

https://huggingface.co/hfl/llama-3-chinese-8b-instruct-v2/tree/main

6.下载Lora权重(为了省钱免训练)

https://huggingface.co/hfl/llama-3-chinese-8b-instruct-v2-lora/tree/main

7.上传到服务器(绝对路径加粗部分根据自己的服务器改)（注意权重巨多，需要最少60G空间存储数据，·）

路径为：/root/siton-tmp/Chinese-Llama/llama-3-chinese-8b-instruct-v2（基座）

路径为：/root/siton-tmp/Chinese-Llama/llama3-Lora（Lora）