当在PyTorch中进行多次前向传播而不需要反向传播时，不清理中间结果可能导致GPU内存占用过多。为解决此问题，可以利用torch.utils.checkpoint.checkpoint函数，在不影响前向计算的情况下，避免中间结果的持久存储，从而节省GPU资源。
如果多次进行forward计算，而不进行backward，那么前向传播时产生的中间结果会一直积累在gpu中。如果你前向计算时并不希望进行反向传播，那么可以采用如下方式：
output_features=torch.utils.checkpoint.checkpoint(model,x.cuda())
【pytorch坑点】前向传播会不断积累显存占用，直到反向传播才会释放
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
