Pytorch: 设置局部梯度

lcqin111

于 2019-05-01 10:43:19 发布

阅读量4.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Pytorch

本文链接：https://blog.youkuaiyun.com/lcqin111/article/details/89736075

Pytorch 专栏收录该内容

9 篇文章

订阅专栏

博客围绕Pytorch设置梯度展开，虽未呈现具体代码内容，但核心聚焦于Pytorch在梯度设置方面的操作，这在深度学习模型训练中至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

torch.no_grad(), torch.enable_grad(), torch.set_grad_enabled()

这三个函数对于设置局部梯度和赋能梯度计算。

上代码：

>>> x = torch.zeros(1, requires_grad=True)
>>> with torch.no_grad():
...     y = x * 2
>>> y.requires_grad
False

>>> is_train = False
>>> with torch.set_grad_enabled(is_train):
...     y = x * 2
>>> y.requires_grad
False

>>> torch.set_grad_enabled(True)  # this can also be used as a function
>>> y = x * 2
>>> y.requires_grad
True

>>> torch.set_grad_enabled(False)
>>> y = x * 2
>>> y.requires_grad
False