联想Y7000+4060显卡+16G内存+ubuntu22.04微调Qwen2.5-VL-2B

铮铭

于 2024-12-31 20:59:51 发布

阅读量962

点赞数 5

文章标签： transformer 深度学习 pytorch

本文链接：https://blog.youkuaiyun.com/hzm8341/article/details/144857099

版权

主要参考的链接：https://juejin.cn/post/7439169215133597759

遇到的坑：

1、我的电脑是CUDA12.4，此时需要用python3.10，torch的安装用下面的命令：

conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.4 -c pytorch -c nvidia

2、训练时，由于显存不够，需要修改配置参数：

val_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    inference_mode=True,  # 训练模式
    r=4,#64,  # Lora 秩
    lora_alpha=1,#16,  # Lora alaph，具体作用参见 Lora 原理
    lora_dropout=0.05,  # Dropout 比例
    bias="none",
)

如上面所示修改，需要修改t