- 博客(6)
- 收藏
- 关注
RSS订阅转载 Pytorch中使用SubsetRandomSampler做数据集划分
PS: sampler 和 shuffle 是互斥的，因为sampler会自动乱序，所以在使用sampler的时候，请将shuffle设置为False。
2023-12-05 11:22:51
337
原创 pytorch训练过程显存爆炸，随着epoch增加不断增加
原来我在反向传播完后会累加loss，以计算平均损失打印出来并写入tensorboard，而我在累加loss时用的是loss_epoch += loss ，此时loss会被放入计算图中一起保存，实际上除了反向传播以外，我的loss只是要那个数值而已。在训练时，明明前几个epoch都能正常跑，但是到了某一个epoch突然给我报显存不够了。我寻思你跑完epoch难道不释放显存的吗，为啥epoch和epoch之间的差距还这么大？经过多方查询，多种方法的尝试，最终定位到loss的计算上。
2023-11-30 19:39:23
1450
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人