【模型训练】在AutoDL上使用LLamaFactory进行模型训练

前言

在众多的GPU云平台中，AutoDL是我们常用的一个。它因为显卡可快速扩展、实例运行稳定、网络连接速度快，深受大家的喜爱。不过其端口映射略微复杂，所以本篇文章，我们将介绍在AutoDL平台上进行模型训练的过程。

环境准备

1.1 创建实例

通过查看LLamaFactory的官方文档，我们可以得知，LLamaFactory的运行需要依赖以下环境：

必需依赖	最低版本	推荐版本
python	3.8	3.11
torch	1.13.1	2.4.0
transformers	4.41.2	4.43.4
datasets	2.16.0	2.20.0
accelerate	0.30.1	0.32.0
peft	0.11.1	0.12.0
trl	0.8.6	0.9.6

可选依赖	最低版本	推荐版本
CUDA	11.6	12.2
deepspeed	0.10.0	0.14.0
bitsandbytes	0.39.0	0.43.1
vllm	0.4.3	0.5.0
flash-attn	2.3.0	2.6.3

根据以上的依赖环境版本，我们在AutoDL上选择较为稳定的Pytorch2.3.0+Python3.12+CUDA12.1。

1.2 (可选)无卡模式运行

• AutoDL实例创建成功之后，默认是带着显卡启动运行的，此时的费用是2元/小时。
• 因为我们前期进行环境部署以及拉取数据，暂时不涉及训练部分，也就用不到GPU。
• 这种情况下，我们可以将实例关闭之后以无卡模式运行。