peft微调大模型LORA的基础教程！

第一部分：下载peft和相关文件

conda create --name MyLORA2 python=3.9.18
conda activate MyLORA2
pip install peft transformers accelerate
pip install peft
#peft 0.15.1
#transformers 4.50.2
#accelerate 1.5.2
conda install -y datasets evaluate  # 数据集相关

第二部分：使用transformer下载大模型

（0）配置

pip uninstall -y numpy
pip uninstall -y setuptools
pip install setuptools
pip install numpy

（1）下载gpt2(这个模型大小比较小)

from transformers import AutoModel, AutoTokenizer

# 指定模型名称和本地保存目录
model_name = "gpt2"
local_dir = "E:\\hf_small_models"

# 下载模型和分词器
model = AutoModel.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 保存到本地目