[大模型] 搭建llama主流大模型训练环境

晨阳2023

已于 2023-05-11 09:53:31 修改

阅读量4.5k

点赞数 2

CC 4.0 BY-SA版权

文章标签： llama 人工智能算法

于 2023-05-10 19:22:19 首次发布

本文链接：https://blog.youkuaiyun.com/iling5/article/details/130606991

该文介绍了在Ubuntu18.04系统上，使用4块A100GPU进行大模型LLAMA的训练环境配置，包括CUDA、cuDNN和nccl的安装。接着，详细阐述了如何将LLAMA模型转换为HuggingFace的格式，并使用fork版的transformers进行加载。最后，提到了基于转换后的模型进行再训练或finetuning的准备步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关键词：大模型，LLAMA，CUDA，模型训练

1. 基础环境

OS： Ubuntu 18.04
GPU： 4*A100(40G) (单机4卡A100 40G)
CUDA：11.7
cuDNN： 8.4.1 (需要登录官网后下载)
nccl： 2.12.12 (需要登录官网后下载)
python： 3.10 (conda create -n vllm python=3.10)
pytorch： 2.0.0+cu117 离线安装包地址
LLaMA-7B/13B/30B/65B模型： 下载地址，需要安装ipfs，也可通过pyllama进行下载：

pip install pyllama -U
python -m llama.download --model_size 7B

实验模型： stanford_alpaca, standford_lora, Chinese-LLaMA-Alpaca

注意先安装cuDNN，再安装CUDA，使用nvidia-smi和nvcc -V查看是否安装成功。

2. 将原生llama模型转换为HF模型格式

由于llama模型尚未合入官方transformers，需要从源码安装fork版本的tranformers以便进行llama模型格式转换与加载：
```
git clone https://github.com/zphang/transformers.git
cd transformers
python setup.py install
```

将llama-7B模型使用fork transformers版本转换为HF模型格式，转换后得到两个文件夹llama-7b和tokenizer：

python src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /data/xh/models/llama \
    --model_size 7B \
    --output_dir /data/xh/models/llama_hf
    
#注意：在加载模型的时候，需要将tokenizer文件夹中的内容复制到llama-7b下
cd /data/xh/models/llama_hf
cp tokenizer/* llama-7b/

3. 基于llama模型进行再训练或finetuning

搭建好基础环境后，以llama_hf模型为基础，可以对衍生模型stanford_alpaca, standford_lora, Chinese-LLaMA-Alpaca继续进行预训练训练或进行finetuning训练了。

# 加载llama模型，注意使用fork版本的transformers
tokenizer = transformers.LlamaTokenizer.from_pretrained("/data/xh/models/llama_hf/tokenizer/")
model = transformers.LlamaForCausalLM.from_pretrained("/data/xh/models/llama_hf/llama-7b/")