关于在循环中backward()的注意事项

原创

于 2022-12-14 18:32:42 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

在PyTorch训练过程中遇到'尝试通过图进行第二次反向传播'的错误，通常由重复调用loss.backward()引起。不应简单地设置retain_graph=True，这会导致内存消耗过大。正确的做法是查找代码问题并使用detach()。本文以一个在执行CW攻击时遇到的实例说明，解释了如何处理在旧计算图中的变量，确保它们在循环外detach()，以防止错误发生。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

许多人会在训练时遇到这样一个报错：

trying to backward through the graph a second time (or directly access saved tensors after they have already been freed)

一般原因是在每个epoch中调用loss.backward()时触发这个错误。此时一般不要按照报错代码中官方给出的推荐一样去做retain_graph=True，因为这样每次循环都会增大memory,导致out of menmory. 而是应该去寻找自己代码的问题，做detach()。参考python - RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed) - Stack Overflow

我的问题和他不太一样，更为简单易懂，但是原理差不多。触发这个的场景是在执行cw attack的时候。报错代码大致如下


target_feature = model(target_image)

def forward(self,images,labels):
    images = images.clone().detach().to(self

最低0.47元/天解锁文章

200万优质内容无限畅学