深度学习：非标量调用backward()求梯度实现原理、detach()

最新推荐文章于 2024-04-08 19:53:50 发布

原创

最新推荐文章于 2024-04-08 19:53:50 发布 · 2.6k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习

本文介绍了深度学习中如何对非标量进行梯度计算，包括两种调用反向传播的方法：通过y.sum().backward()和传入ones参数。同时，解释了detach()函数的作用，它能从计算图中分离张量并阻止其进一步参与反向传播。

计算图

非标量调用backward()求梯度

x = torch.arange(4.0)
x.requires_grad = True
y = x * x

$x=(x_{1},x_{2},x_{3},x_{4})$

$y = x*x=(x_{1}^{2},x_{2}^{2},x_{3}^{2},x_{4}^{2})$

方法1：通过y.sum().backward()调用反向传播

y.sum().backward()
print(x.grad)

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大牛牛+

关注关注

12
点赞
踩
28

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

《动手学深度学习》自动求梯度

风口IT猪的成长录

09-19

553

《动手学深度学习》自动求梯度概念Tensor梯度在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。概念上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有

l.sum().backward()梯度反向传播时为何要加.sum()函数

qq_43369406的博客

06-23

2300

函数主要有两个作用，一个是用来求和，一个是用来降维。而在这里是用到了降维的作用。这是二维的，pytorch并不能进行梯度反向传播计算梯度，所以我们需要使用。Pytorch进行梯度的计算，只能对标量进行梯度计算，例如。这是一个标量，是能够进行梯度计算的，而例如。，对于多元函数便能计算偏微分，求梯度了。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

希望自己能一直努力 2022.08.31
方法得到的x.grad是不是有问题？感觉是(0,2,4,6)

计算图_非标量调用backward()求梯度

Moments

05-04

2268

计算图_非标量调用backward()求梯度当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），但当我们调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是批量中每个样本单独计算的偏导数之和。 x = torch.arange(4.0) x.requires_grad = True y = x * x

PyTorch detach()：深入解析与实战应用

热门推荐

创作高质量博文，分享知识，共同进步！

02-13

1万+

【🚀PyTorch detach()探秘🚀】🌟解锁PyTorch深度学习框架中的神秘函数detach()！📚本文将带您深入了解detach()的工作原理，以及其在实战中的应用场景！💪掌握detach()，让您的模型训练更加灵活高效，轻松征服复杂的数据科学挑战！🌈

深度学习总结：GAN，3种方式实现fixedGtrainD，fixedDtrainG, retain, detach

weixin_40759186的博客

02-17

666

文章目录retain和detach先更新D，再更新G，这个也是GAN论文的实现方式先更新G，再更新D，实际上他两谁先谁后都一样，都是相互对抗：第三种是第一种的改进，先更新D，再更新G，计算最少，还没见到别人实现，估计知名框架这么实现，每具体检查过： retain和detach pytorch有两个功能：retain和detach： retain：意思是保持原来graph，可以还在原图上进行for...

跟着李沐学深度学习-矩阵计算-detach,backward函数

qq_36820823的博客

03-26

1817

向量的导数如果y是标量x是标量，结果就是标量。如果y是标量x是相邻则求导是x维度相同的向量。如果y是向量x是标量，那么求出来的导数和y维度相同。如果y和x是向量，则求导是一个矩阵将向量拓展到矩阵这张图的关系很好的表明了如果x和y做导数，拓展到矩阵求导上是什么形式。如果两个矩阵做梯度，那么梯度就是四维张量。计算图 ...

pytorch的梯度反向传播 detach backward

qq_35641067的博客

05-29

763

一、梯度的传播反向传播什么时候停止 1.为叶子节点时【反向时前面没有与之相连的节点】常见的叶子节点【输入】 2.该节点唯一相连的节点的require_grads=False 3.该节点唯一相连的节点使用detach函数时该方法常用于GAN网络生成器的输出使用detach时，pytorch不对生成器进行梯度计算，叶子节点为判别器的首个参数二、 detach梯度分离的使用 https://www.jb51.net/article/181631.htm 三、详解backward() ht

动手学深度学习：2.3 自动求梯度

qq_38888209的博客

07-21

384

2.3 自动求梯度在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。2.3.1 概念上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor

第一次作业：深度学习基础

creami11的博客

09-05

1112

一、环境配置在谷歌 Colab 上完成 pytorch 代码练习，它是一个 Jupyter 笔记本环境，已经默认安装好 pytorch，不需要进行任何设置就可以使用，并且完全在云端运行。使用方法可以参考 Rogan 的博客：https://www.cnblogs.com/lfri/p/10471852.html 国内目前无法访问 colab，可以安装 Ghelper: http://googlehelper.net/。 ps:参考课程courses.d2l.ai/zh-v2/ 二、数据操作 ...

动手学深度学习-关于y.sum().backward()中sum的理解

最新发布

小菜的博客

04-08

488

当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。

浅谈Pytorch中的自动求导函数backward()所需参数的含义

12-20

正常来说backward( )函数是要传入参数的，一直没弄明白backward需要传入的参数具体含义，但是没关系，生命在与折腾，咱们来折腾一下，嘿嘿。对标量自动求导首先，如果out.backward()中的out是一个标量的话（相当于一个神经网络有一个样本，这个样本有两个属性，神经网络有一个输出）那么此时我的backward函数是不需要输入任何参数的。 import torch from torch.autograd import Variable a = Variable(torch.Tensor([2,3]),requires_grad=True) b = a + 3 c = b *

pytorch中tensor求导:y.sum().backward()为什么求导的时候要进行这个sum操作；

JEREMY的博客

02-08

2551

pytorch中tensor求导:y.sum().backward()为什么求导的时候要进行这个sum操作；

pytorch中tensor求导--y.sum().backward()为什么求导的时候要进行这个sum操作

guanguanboy的专栏

01-10

8414

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True) y = x.tanh() #xyplot(x, y, 'tanh') #绘制tanh的导数 x.grad.zero_() y.sum().backward() #为什么求导的时候要进行这个sum操作。 xyplot(x, x.grad, 'grad of tanh') 原因是：...

【深度学习】自动求导中有时为什么要先sum()再backward()

qq_43722079的博客

03-09

1764

在深度学习中，被求导的对象（样本/输入）一般是多元的（向量x），绝大多数情况是标量y对向量x进行求导，很少向量y对向量x进行求导，否则就会得到复杂的微分矩阵（且torch无法直接处理这种操作，需要在backward()中添加gradient参数才能实现）。所以经常把一个样本看做一个整体，它包含多个变量（属性），对其所有属性求导后再加和，就得到了这个样本的偏导数之和。因此当计算得到的y是一个关于x的向量的话，我们可以通过y.sum()操作将y标量化，再反向传播，得到标量对x的导数。

用例子对sum.backward()的浅析

lizhibin1的博客

03-15

1855

打印loss看结果当然，我们也可以手动验证一下,loss = (-2.1865-6.)^2 / 2= 33.509391125,与打印的loss相同，验证成功。

pytorch中backward()方法自动求梯度

Mr____Cheng的博客

07-02

2277

1、区分源变量和结果变量 x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True) y = x.relu() x为源变量，基于源变量x得到的变量y为结果变量。 2、如何使用backward()方法自动求梯度一个标量调用它的backward()方法后，会根据链式法则自动计算出源变量的梯度值。 2.1、结果变量是一维张量基于以上例子，就是将一维张量y变成标量后，然后通过调用backward()方法，就能自动计算出x的梯度值。那么，如何将一维张量y变成

人工智能-作业3：使用backward()例题程序复现

还是小说有意思

05-08

872

目录使用pytorch复现例题两个方法对比修改后的手推法对比两种方法使用torch.sigmoid()sigmoid改变为Relu损失函数用t.nn.MSELoss()代替损失函数改变为交叉熵改变步长，训练次数权值w1-w8初始值换为随机数总结使用pytorch复现例题将反向传播的过程用backward()实现，并且在每次计算梯度之后记得清除梯度。 import torch def sigmoid(z): a = 1 / (1 + torch.exp(-z)) return a de

loss.sum().backward()中对于sum()的理解

q3241758733的博客

09-16

594

我们通过了解可以确定的所以backward前面都是标量。