关于在循环中backward()的注意事项

在PyTorch训练过程中遇到'尝试通过图进行第二次反向传播'的错误,通常由重复调用loss.backward()引起。不应简单地设置retain_graph=True,这会导致内存消耗过大。正确的做法是查找代码问题并使用detach()。本文以一个在执行CW攻击时遇到的实例说明,解释了如何处理在旧计算图中的变量,确保它们在循环外detach(),以防止错误发生。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

许多人会在训练时遇到这样一个报错:

trying to backward through the graph a second time (or directly access saved tensors after they have already been freed)

一般原因是在每个epoch中调用loss.backward()时 触发这个错误。此时一般不要按照报错代码中官方给出的推荐一样去做retain_graph=True,因为这样每次循环都会增大memory,导致out of menmory. 而是应该去寻找自己代码的问题,做detach()。参考python - RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed) - Stack Overflow

我的问题和他不太一样,更为简单易懂,但是原理差不多。触发这个的场景是在执行cw attack的时候。 报错代码大致如下


target_feature = model(target_image)

def forward(self,images,labels):
    images = images.clone().detach().to(self
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值