关于with torch.no_grad:的一些小问题

江_小_白

已于 2023-12-20 15:10:38 修改

阅读量575

点赞数 1

分类专栏： pytorch 文章标签： python 深度学习 pytorch

于 2023-12-20 15:10:25 首次发布

本文链接：https://blog.youkuaiyun.com/qq_45193988/article/details/135108746

版权

pytorch 专栏收录该内容

11 篇文章

订阅专栏

文章讨论了在PyTorch中使用`torch.no_grad()`时，如果函数内部有嵌套调用，`no_grad`是否会影响所有层级的梯度计算。实验结果显示，`no_grad`确实会截断该函数及其内部操作的梯度记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

with torch.no_grad:是截断梯度记录的，新生成的数据的都不记录梯度，但是今天产生了一点小疑惑，如果存在多层函数嵌入，是不是函数内所有的数据都不记录梯度，验证了一下，确实是的。

import torch
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
def add(x,y,z):
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
def add2(x,y,z):
    add(x,y,z)
with torch.no_grad():
    add2(x,y,z)
    
add2(x,y,z)
“”“
输出：
False
None
True
<AddBackward0 object at 0x00000250371BED68>
”“”