关于Pytorch训练过程中CUDA out of Memory问题

先上一条命令：watch --color -n1 gpustat -cpu --color

此命令用于Linux动态监测GPU情况，直接在命令行输入即可

1.如果是没有训练就报错

batch_size太大了，输入的input_ids才能真实反映batch_size，别改错了

 input_shape = input_ids.size()
 batch_size, seq_length = input_shape

2.训练了>=1轮之后报错&&显存持续增长

看一下用于backward()的变量是否有累加，有的话加上item()
比如：

total_loss = total_loss + weight*other_loss
total_loss.backward()

改成

total_loss = total_loss.item() + weight*other_loss
total_loss.backward()

具体原理：显存持续缓慢增长的究极原因 - 小米粥的文章 - 知乎