关于Pytorch训练过程中CUDA out of Memory问题

文章讲述了如何使用Linux命令`watch--color-n1gpustat-cpu--color`动态监控GPU状态。在训练模型时,如果遇到因batch_size过大导致的错误,应确保input_ids正确反映batch_size。另外,当训练多轮后显存持续增长,可能是因为在backward()操作中变量累积,应使用`.item()`来避免,如将`total_loss+=weight*other_loss`改为`total_loss=total_loss.item()+weight*other_loss`,以防止显存泄漏问题。

先上一条命令:watch --color -n1 gpustat -cpu --color

此命令用于Linux动态监测GPU情况,直接在命令行输入即可

1.如果是没有训练就报错

batch_size太大了,输入的input_ids才能真实反映batch_size,别改错了

 input_shape = input_ids.size()
 batch_size, seq_length = input_shape

2.训练了>=1轮之后报错&&显存持续增长

看一下用于backward()的变量是否有累加,有的话加上item()
比如:

total_loss = total_loss + weight*other_loss
total_loss.backward()

改成

total_loss = total_loss.item() + weight*other_loss
total_loss.backward()

具体原理:显存持续缓慢增长的究极原因 - 小米粥的文章 - 知乎

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值