关于Pytorch的create_graph和retain_graph的一点小得

最新推荐文章于 2024-05-19 09:01:25 发布
原创 最新推荐文章于 2024-05-19 09:01:25 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

在Pytorch中，张量计算形成计算图，反向传递（backward()）通常会删除图。若要保留图以求二阶导，需使用autograd.grad并设置create_graph=True。retain_graph=True则用于在不删除计算图的情况下进行多次反向传播。
部署运行你感兴趣的模型镜像

首先我们要搞清一个逻辑，就是在Pytorch中，张量间的计算产生计算图，而反向传递会导致计算图删除（反向即backward()函数，请注意，用autograd求导不会导致计算图被删除）。

当我们想求二阶导时，用autograd.grad是执行了一次前向运算，但该函数默认不会保存计算图，因此并没有求导运算的过程，无法再继续用结果求二阶导。因而需要create_graph=True来手动建立计算图。

此外，retain_graph是retain当前的式子的计算图，当我们不想让backward()函数释放掉当前计算图时，我们可以使用retain_graph=True。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

FFHow
关注
pytorch retain_graph=True 训练导致GPU显存泄漏 OOM (out of memory)
Hello Word!
05-13 2877
训练过程中多个loss回传产生了GPU显存不够用的情况（即使是设置batch_size最小也不行），在backward函数中去掉retain_graph=True之后，情况没有出现。 我这里出现这个情况的原因：因为不同loss求完之后没有算均值，可能返回的是一个tensor，要通过 .mean() 把它变成标量。 解决： criterion = torch.nn.CrossEntropyLoss() output = module_a(fc1Features,label) arcLoss = criteri
Pytorch(一）：动态图机制以及框架结构
Mike_honor的博客
07-12 4635
前言：Pytorch是目前学术界使用较为广泛的一种深度学习框架，要想能够熟练使用这个工具，就需要对它有一个全面系统的了解，本专栏就是为了带领大家系统地梳理Pytorch工具中的一些重要知识点，欢迎各位读者批评指正。目录1、Pytorch的动态图机制 2、Pytorch结构分析2.1 torch2.2 torchvision .........
PyTorch-1.10(十二)--torch.autograd基本用法
Hanscal
05-15 1277
Torch.autograd torch.autograd提供实现任意标量值函数自动微分的类和函数。只需要对现有代码进行最小的更改（声明张量，设置使用requires_grad=True关键字计算其梯度）. 到目前为止，pytorch只支持浮点张量类型( half, float, double and bfloat16) 和复数张量类型(cfloat, cdouble)的autograd。 backward 计算给定张量相对于图叶节点的梯度之和。 ...
pytorch create_graph retain_graph
xuxiaoyuxuxiaoyu的博客
05-14 1024
Retain_graph and Create_graph作用 retain_graph的作用 a = torch.tensor(1, requries_grad=True) b = torch.tensor(1, requries_grad=True) c = a**2 d=b*c c.backward() d.backward() 这段代码中，执行完c.bckward()之后graph会自动free，无法计算d.backward(). 如果retain_graph=True则可以计算d.backw
[内存泄漏][PyTorch](create_graph=True)
qq_49323609的博客
11-18 1517
[内存泄漏][PyTorch](create_graph=True)
Pytorch 中retain_graph的用法详解
09-18
在Pytorch中，`retain_graph`参数是`backward`函数的一个可选参数，它用于控制是否保留梯度计算过程中的计算图。当我们多次调用`backward`函数时，通常默认情况下，第二次及之后的`backward`调用会导致之前的计算图...
【PyTorch】retain_graph的作用
ncc1995的博客
07-24 998
x = torch.randn((1, 4), dtype=torch.float32, requires_grad=True) x Out[54]: tensor([[ 0.1351, 0.8179, 0.1422, -0.3021]], requires_grad=True) y = x ** 2 z = y * 4 output1 = z.mean() output2 = z.sum...
PyTorch retain_graph详解：损失函数中的关键策略
PyTorch中的`retain_graph`参数是一个用于控制反向传播时图（graph）是否被保留的关键概念。在深度学习中，神经网络的训练通常涉及到梯度计算，这是通过反向传播算法完成的。当我们执行`loss.backward()`时，PyTorch...
pytorch autograd backward函数中 retain_graph参数的作用，简单例子分析，以及create_graph参数的作用...
weixin_30952103的博客
03-18 748
retain_graph参数的作用 官方定义： retain_graph (bool, optional) – If False, the graph used to compute the grad will be freed. Note that in nearly all cases setting this option to True is not needed and often ...
Create graph
ganggang112800的专栏
09-19 2741
// 对图的邻接矩阵和邻接表表示分别进行深度优先搜索遍历算法的实现。 #include "stdafx.h" #include using namespace std; ////////////////////////////////////////////////////////////////////////// // 图的实现  邻接矩阵的方法// //////////
彻底弄懂requires_grad，retain_graph，create_graph区别
i89211的博客
05-19 1359
控制张量是否需要梯度（在前向传播时设置）。：控制是否在反向传播时创建计算图，以允许计算高阶导数（在backward或中设置）。：控制在反向传播后是否保留计算图，以允许多次反向传播（在backward或中设置）。这些参数和属性在深度学习模型的训练和优化过程中，特别是在高级优化算法（如共轭梯度法）和高阶导数计算中起着关键作用。
Pytorch 中retain_graph的用法
热门推荐
happyday_d的博客
01-01 1万+
Pytorch 中retain_graph的用法 用法分析 在查看SRGAN源码时有如下损失函数，其中设置了retain_graph=True,其作用是什么？ ############################ # (1) Update D network: maximize D(x)-1-D(G(z)) ########################...
pytorch的计算图 loss.backward(retain_graph=True) # 添加retain_graph=True标识，让计算图不被立即释放
Arthur_Holmes的博客
12-09 9812
前言：接触pytorch这几个月来，一开始就对计算图的奥妙模糊不清，不知道其内部如何传播。这几天有点时间，就去翻阅了Github，pytorch Forum，还有很多个人博客（后面会给出链接），再加上自己的原本一些见解，现在对它的计算图有了更深层次的理解。pytorch是非常好用和容易上手的深度学习框架，因为它所构建的是动态图，极大的方便了coding and debug。可是对于初学者而言，计算...
Pytorch中retain_graph参数的作用
weixin_36670529的博客
04-11 2975
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. 前言 在pytorch神经网络迁移的官方教程中有这样一个损失层函数（具体看这里提供0.3.0版中文链接：https://oldpan.me/archives/pyto
Pytorch: detach 和 retain_graph,和 GAN的原理解析
qxqsunshine的博客
10-08 8178
转载知乎文章:https://zhuanlan.zhihu.com/p/43843694 写的特别好,看的很明白.谢谢作者 本人观察 Pytorch 下的生成对抗网络（GAN）的实现代码，发现不同人的实现细节略有不同，其中用到了 detach 和 retain_graph，本文通过两个 gan 的代码，介绍它们的作用，并分析，不同的更新策略对程序效率的影响。 这两个 GAN 的实现中，其更新...
【笔记】create_graph = True ： 用于高阶求导
nyist_yangguang的博客
09-12 921
python中backward函数_pytorch autograd backward函数中 retain_graph参数的作用，简单例子分析，以及create_graph参数的作用...
weixin_39572152的博客
12-21 581
retain_graph参数的作用官方定义：retain_graph (bool, optional) – If False, the graph used to compute the grad will be freed. Note that in nearly all cases setting this option to True is not needed and often can ...
【笔记】create_graph = True 导致内存泄露的解决办法：将backward的反向求导方法 修改为 torch.autograd.grad
nyist_yangguang的博客
09-12 757
retain_graph和create_graph
最新发布
01-02
### PyTorch 中 `retain_graph` 和 `create_graph` 参数的作用及用法 #### `retain_graph` 的作用 在 PyTorch 中，默认情况下，每次调用 `.backward()` 方法执行反向传播之后，计算图会被自动释放以节省内存。然而，在某些场景下，比如需要在同一计算图上进行多次反向传播时，则需通过设置 `retain_graph=True` 来阻止计算图的立即销毁。 例如： ```python a = torch.tensor(1., requires_grad=True) b = torch.tensor(1., requires_grad=True) c = a ** 2 d = b * c c.backward(retain_graph=True) # 第一次反向传播并保留计算图 d.backward() # 可再次利用相同的计算图进行第二次反向传播 ``` 上述代码展示了如何使用 `retain_graph=True` 实现多轮次的反向传播操作而无需重建计算图[^1]。 需要注意的是，如果频繁地设置此选项可能会引起 GPU 显存占用过高甚至溢出的问题，因此应当谨慎处理循环内的连续反向传播过程[^3]。 #### `create_graph` 的功能说明 另一方面，`create_graph` 主要应用于二阶及以上导数（即 Hessian 矩阵）的求解场合。当设定了 `create_graph=True` 后，不仅会构建当前层面对应的一阶导数链路结构，还会进一步追踪更高层次上的变化关系以便后续能够继续对其它变量求偏微分。 具体应用如下所示： ```python import torch def hessian_example(): x = torch.randn((), requires_grad=True) y = x ** 2 grad_y, = torch.autograd.grad( outputs=y, inputs=x, create_graph=True # 创建动态计算图支持高阶导数运算 ) hess_y, = torch.autograd.grad( outputs=grad_y, inputs=x # 对同一输入再做一次梯度计算得到Hessian矩阵中的元素 ) hessian_example() ``` 在此例子中，为了获取给定函数关于自变量 \(x\) 的海森矩阵项，必须先开启 `create_graph` 才能顺利完成整个流程[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值