用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法

已于 2025-02-08 18:43:56 修改
阅读量1.7k 收藏 21
点赞数 10
分类专栏： 大模型 科研工具 Python技巧 文章标签： llama 人工智能 大模型
于 2025-02-08 11:03:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qysh123/article/details/145509704
版权

接着上一篇博客：在Ubuntu上用Llama Factory命令行微调Qwen2.5的简单过程_llamafactory 微调qwen 2.5-优快云博客

如果需要微调比较大的模型，例如Qwen2.5-32B，那么在两个3090上可能不够用，这里我用A6000×4的服务器。但如果仿照上篇博客，直接运行：

llamafactory-cli train examples/train_qlora/qwen_lora.yaml

那还是会报错：

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 270.00 MiB. GPU 0 has a total capacity of 47.54 GiB of which 244.94 MiB is free. Including non-PyTorch memory, this process has 47.28 GiB memory in use.

解决方法很多朋友也介绍了：

llamafactory用多卡4

最低0.47元/天 解锁文章
[论文笔记] llama-factory 微调qwen2.5、llama3踩坑
心宝的博客
10-18 1526
【代码】[论文笔记] llama-factory 微调qwen2.5、llama3踩坑。
LLaMA Factory多卡微调的实战教程（持续更新）
热门推荐
herosunly的博客
06-12 23万+
本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
求助Qwen2.5VL本地部署频繁CUDA out of memory
2301_76446605的博客
03-17 172
3090本地部署Qwen2.5VL的7b或者3b都只能识别很小的图片，稍微大一点的图片就会报错。稍微大点的图片就会请求几十g甚至几百g的显存需求。不知道是哪里出了问题。
llamafactory用多卡4090服务器，训练qwen14B大模型时报错GPU显存不足oom（out of memory），已解决
qq_38773993的博客
10-23 3845
通过export CUDA_VISIBLE_DVICES=0,1,2,3,4,5,6,7指定使用8张显卡，训练qwen2.5-7B大模型时正常，但训练qwen2.5-14B，qwen2.5-32B模型时报错，torch.OutOfMemoryError:CUDA out of memory。至于ds_config_zero3.json这个，可以去qwen官网下载，https://github.com/QwenLM/Qwen/blob/main/finetune/ds_config_zero3.json。
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 260.00 MiB. GPU 0 has a total capacity
weixin_45866058的博客
02-11 1489
三、修改：修改 AutoModelForCausalLM.from_pretrained()函数的内置参数，并使用命令加载模型参数、数据到多GPU上。运行命令：“1，2，3”为GPU序数。
llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~
Ven%的博客
12-27 2012
使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。注: 若不知道这个配置的代表什么含义的话，可以看这一篇。
CUDA out of memory 报错解决方案
m0_47867419的博客
04-24 5911
介绍了CUDA out of memory的一种解决办法
（超全方法）尝试解决问题：torch.cuda.OutOfMemoryError: CUDA out of memory.
qq_56438555的博客
11-28 2万+
提供多种方法解决CUDA内存不足（Out of Memory）的问题。
【AI大模型】Transformers大模型库（六）：torch.cuda.OutOfMemoryError: CUDA out of memory解决
人工智能领域博客
06-11 2597
采用GPU进行大模型训练及推理，在初期遇到最多的错误就是CUDA out of memory，主要意味着你的模型在训练或运行过程中尝试分配的GPU内存超出了可用部分，简称“爆显存”
遇到了 CUDA内存不足 的问题解决办法 orch.OutOfMemoryError: CUDA out of memory.
02-15 1685
减小批量大小或优化模型结构。使用混合精度训练。清理显存并避免碎片化。使用多 GPU 或分布式训练。监控显存占用并优化代码。通过上述方法，你应该能够缓解或解决 CUDA 显存不足的问题。如果问题仍然存在，请提供更多上下文信息，我可以进一步帮助你分析问题。
torch.cuda.OutOfMemoryError: CUDA out of memory.解决方案（亲测有效）
estxiyang的博客
04-12 6358
torch.cuda.OutOfMemoryError: CUDA out of memory.
全网最全RuntimeError: CUDA error: out of memory解决方法
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
【LLama-Factory】开源低代码大模型微调框架本地部署和使用保姆级教程！！！
weixin_43012017的博客
12-23 3739
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。不想通过GitHub跳转到文档，可以通过下面的链接直接访问LLama-Factory官方文档。
保姆级零基础微调大模型（LLaMa-Factory，多卡版）
K_Kelly_的博客
05-08 1万+
看到网上的教程很多都是教如何用webui来微调的，这里出一期命令行多卡微调教程~
LLaMA-Factory微调Qwen2.5-7B模型
qq_46325481的博客
02-19 2096
本次实验环境使用的魔塔社区的机子。
解决大模型训练中的CUDA out of memory
weixin_52147110的博客
06-14 1181
首先查看了训练 SFTTrainer 中的精度（sft_trainer.py 官方文档 line253）如下，说明只有当模型是4bit且不是 shared QLoRA 时，才会调用 peft_module_casting_to_bf16 函数，将PEFT模块转换为bf16（bfloat16）精度。该模型符合要求，因此去修改peft模块中的参数 bf16=False，但是还是报错，后来逐步检查发现是在模型训练初始阶段设置了bf16，将其改为float16就可以了。，于是尝试做了修改并实现了成功。
LLaMA Factory多卡微调的实战教程
herosunly的博客
04-25 19万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
【个人开发】deepspeed+Llama-factory 本地数据多卡Lora微调【完整教程】
weixin_44505713的博客
02-13 3126
处理方式还是调整参数，使用Lora微调时的常见参数，q_proj,v_proj,k_proj,gate_proj,up_proj,o_proj,down_proj。上一篇文件写到，macbook微调Lora，该微调方式，同样适用于GPU，只不过在train.py脚本中，针对device，调整为cuda即可。这种tensor的问题，很可能是模型冲突的问题，比如调到一半，然后重新提调，指到相同的路径。其他参数，其实就是常规使用peft进行lora微调的常见参数，以及常见的微调参数，可以对照如下。
通过Llama-Factory对Deepseek-r1:1.5b进行微调
最新发布
张飞飞的博客
03-29 729
由于近期项目需求，我们计划在机器狗上部署对话大模型，并结合具体业务场景进行定制化回答。在技术选型过程中，我们对比了RAG（Retrieval-Augmented Generation）和模型微调两种策略。RAG虽然在知识检索方面表现优异，但需要额外部署文本嵌入模型，增加了部署复杂性和资源开销。相比之下，模型微调能够直接针对特定场景优化模型性能，避免了冗余组件的引入，因此我们最终选择了微调策略。在微调框架的选择上，我们采用了LLaMA-Factory。
llama-factory部署微调QWEN
12-31
### 使用 LLaMA-Factory 部署和微调 Qwen 模型 #### 安装依赖库 为了能够顺利下载并使用来自ModelScope平台上的Qwen模型，需先安装`modelscope`工具包。这一步骤确保了后续操作可以无障碍获取所需的预训练权重文件。 ```bash pip install modelscope ``` 此命令会自动拉取最新版本的`modelscope`软件包到当前环境中[^1]。 #### 下载基础模型 借助于已安装好的`modelscope`库，可以从官方仓库中检索指定名称下的Qwen系列模型实例。具体来说，对于想要进行调整优化的目标网络结构而言，这里指定了7亿参数规模的基础版——即Qwen2-7B作为起始点。通过特定接口函数实现自动化下载流程简化了准备工作量的同时也提高了效率。 #### 微调过程概述 针对具体的业务场景需求，在获得上述提及的基础架构之后便进入了至关重要的定制化改进环节。LLaMA-Factory提供了一套完整的解决方案来支持这一阶段的工作： - **准备数据集**：收集整理适合目标任务类型的高质量语料资源； - **定义超参配置**：依据实验设计设定必要的学习率、批次大小等影响收敛性的因素； - **启动训练任务**：利用内置API提交作业请求至计算集群执行迭代更新直至满足终止条件为止； 完成以上步骤后就得到了经过针对性强化处理后的新型态AI助手实体。 #### 测试与验证成果 当一切进展顺利并且新的算法变体已经成型时，则进入到最终的质量检验部分。有两种主要方式可供选择用来衡量改进措施的有效性： - Evaluate & Predict（基于测试集合统计各项指标得分） - Chat（实时交互体验对话质量） 其中后者因为其即时反馈特性而被认为更加直观有效，允许开发者快速感知潜在问题所在并作出相应调整[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值