Pytorch训练过程中C盘缓存不断增加的问题

最新推荐文章于 2024-07-09 22:54:35 发布

Marlowee

最新推荐文章于 2024-07-09 22:54:35 发布

阅读量1w

点赞数 10

分类专栏： Pytorch_Learning 文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/weixin_43427721/article/details/113006187

版权

Pytorch_Learning 专栏收录该内容

35 篇文章

订阅专栏

在Pytorch训练过程中遇到C盘内存不断减少的问题，可以通过在训练结束时使用`torch.cuda.empty_cache()`清理GPU缓存来解决。这样可以避免中间变量占用过多内存，影响训练。只需在每次训练循环结束后或者整个训练结束后调用该函数，即可释放GPU内存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Pytorch训练过程中C盘缓存不断增加的问题

之前在训练的过程中，C盘内存会随着训练的轮次越来越少，特别影响训练效果，今天参考大佬的博客终于把问题解决了，记录一下

划重点：训练完后清空内存

def train():
	*
	*
	*
	del inputs, target, outputs, loss
	torch.cuda.empty_cache()

如果说中间变量太多了修改代码比较麻烦，可以只在训练结束后清除cache中的缓存，即

def train():
	*
	*
	*
	torch.cuda.empty_cache()

案例：

def train(epoch):
	running_loss = 0.0
	for batch_idx, data in enumerate(train_loader, 0):
		inputs, target = data
		inputs=inputs.to(device)
		target=target.to(device)
		optimizer.zero_grad()#将module中的所有模型参数的梯度设置为0.
		# forward + backward + update
		outputs = model(inputs)
		loss = criterion(outputs, target)

		loss.backward()
		optimizer.step()
		running_loss += loss.item()
		if batch_idx % 300 == 299:
			print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 2000))
			running_loss = 0.0
	del inputs, target, outputs, loss
    torch.cuda.empty_cache()