深度学习：非标量调用backward()求梯度实现原理、detach()

最新推荐文章于 2025-06-18 10:48:21 发布
最新推荐文章于 2025-06-18 10:48:21 发布
阅读量2.5k 收藏 28
点赞数 12
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_52209929/article/details/123742145
本文介绍了深度学习中如何对非标量进行梯度计算，包括两种调用反向传播的方法：通过y.sum().backward()和传入ones参数。同时，解释了detach()函数的作用，它能从计算图中分离张量并阻止其进一步参与反向传播。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

计算图

非标量调用backward()求梯度

x = torch.arange(4.0)
x.requires_grad = True
y = x * x

x=(x_{1},x_{2},x_{3},x_{4}) 

y = x*x=(x_{1}^{2},x_{2}^{2},x_{3}^{2},x_{4}^{2})

方法1：通过y.sum().backward()调用反向传播

y.sum().backward()
print(x.grad)

最低0.47元/天 解锁文章

200万优质内容无限畅学
《动手学深度学习》自动求梯度
风口IT猪的成长录
09-19 535
《动手学深度学习》自动求梯度概念Tensor梯度 在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。 概念 上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有
深度学习：张量与计算图篇
#仙女不扎马尾#的博客
02-28 1296
文章目录1 张量1.1 pytorch的数据类型1.2 pytorch的标量算术计算 写在前面：最近在看一本书，做点笔记。《tensorflow+pytorch深度学习从算法到实践》。主要学习的是pytorch部分的内容，所以就跳过tensorflow部分。 tensorflow：静态计算图语言 pytorch：动态计算图语言 1 张量 0维的张量：标量 1维的张量：向量 2维的张量：矩阵 3维及以上的张量：是一般意义上我们所认为的张量。 1.1 pytorch的数据类型 创建一个张量： import to
【深度学习】自动求导中有时为什么要先sum()再backward()
qq_43722079的博客
03-09 1622
在深度学习中，被求导的对象（样本/输入）一般是多元的（向量x），绝大多数情况是标量y对向量x进行求导，很少向量y对向量x进行求导，否则就会得到复杂的微分矩阵（且torch无法直接处理这种操作，需要在backward()中添加gradient参数才能实现）。 所以经常把一个样本看做一个整体，它包含多个变量（属性），对其所有属性求导后再加和，就得到了这个样本的偏导数之和。因此当计算得到的y是一个关于x的向量的话，我们可以通过y.sum()操作将y标量化，再反向传播，得到标量对x的导数。
计算图_非标量调用backward()求梯度
Moments
05-04 2227
计算图_非标量调用backward()求梯度 当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。 然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），但当我们调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是批量中每个样本单独计算的偏导数之和。 x = torch.arange(4.0) x.requires_grad = True y = x * x
关于深度学习中的detach()方法返回新张量可能存在的疑问解答
最新发布
qq_52439927的博客
06-18 272
内容说明detach()是否共享数据？是，共享底层内存是否会自动同步更新？❌ 不会自动同步更新为什么看起来像同步？因为它们指向同一块内存，但不是微分机制导致的同步推荐做法？如果需要保留某时刻的值，建议使用因此，不要依赖detach()张量来持续反映原张量的梯度更新状态，它只是一个静态快照。
跟着李沐学深度学习-矩阵计算-detach,backward函数
qq_36820823的博客
03-26 1765
向量的导数 如果y是标量x是标量，结果就是标量。如果y是标量x是相邻则求导是x维度相同的向量。如果y是向量x是标量，那么求出来的导数和y维度相同。如果y和x是向量，则求导是一个矩阵 将向量拓展到矩阵 这张图的关系很好的表明了如果x和y做导数，拓展到矩阵求导上是什么形式。如果两个矩阵做梯度，那么梯度就是四维张量。 计算图 ...
pytorch的梯度反向传播 detach backward
qq_35641067的博客
05-29 741
一、梯度的传播反向传播什么时候停止 1.为叶子节点时【反向时前面没有与之相连的节点】 常见的叶子节点【输入】 2.该节点唯一相连的节点的require_grads=False 3.该节点唯一相连的节点使用detach函数时 该方法常用于GAN网络生成器的输出使用detach时，pytorch不对生成器进行梯度计算，叶子节点为判别器的首个参数 二、 detach梯度分离的使用 https://www.jb51.net/article/181631.htm 三、 详解backward() ht
l.sum().backward()梯度反向传播时为何要加.sum()函数
qq_43369406的博客
06-23 2188
函数主要有两个作用，一个是用来求和，一个是用来降维。而在这里是用到了降维的作用。这是二维的，pytorch并不能进行梯度反向传播计算梯度，所以我们需要使用。Pytorch进行梯度的计算，只能对标量进行梯度计算，例如。这是一个标量，是能够进行梯度计算的，而例如。，对于多元函数便能计算偏微分，求梯度了。
动手学深度学习：2.3 自动求梯度
qq_38888209的博客
07-21 371
2.3 自动求梯度在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。2.3.1 概念上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor
第一次作业：深度学习基础
creami11的博客
09-05 1088
一、环境配置 在谷歌 Colab 上完成 pytorch 代码练习，它是一个 Jupyter 笔记本环境，已经默认安装好 pytorch，不需要进行任何设置就可以使用，并且完全在云端运行。使用方法可以参考 Rogan 的博客：https://www.cnblogs.com/lfri/p/10471852.html 国内目前无法访问 colab，可以安装 Ghelper: http://googlehelper.net/。 ps:参考课程courses.d2l.ai/zh-v2/ 二、数据操作 ...
动手学深度学习-关于y.sum().backward()中sum的理解
小菜的博客
04-08 440
当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中）， 但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。
浅谈Pytorch中的自动求导函数backward()所需参数的含义
12-20
正常来说backward( )函数是要传入参数的，一直没弄明白backward需要传入的参数具体含义，但是没关系，生命在与折腾，咱们来折腾一下，嘿嘿。 对标量自动求导 首先，如果out.backward()中的out是一个标量的话（相当于一个神经网络有一个样本，这个样本有两个属性，神经网络有一个输出）那么此时我的backward函数是不需要输入任何参数的。 import torch from torch.autograd import Variable a = Variable(torch.Tensor([2,3]),requires_grad=True) b = a + 3 c = b *
pytorch中tensor求导:y.sum().backward()为什么求导的时候要进行这个sum操作；
JEREMY的博客
02-08 2443
pytorch中tensor求导:y.sum().backward()为什么求导的时候要进行这个sum操作；
pytorch中tensor求导--y.sum().backward()为什么求导的时候要进行这个sum操作
guanguanboy的专栏
01-10 8386
x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True) y = x.tanh() #xyplot(x, y, 'tanh') #绘制tanh的导数 x.grad.zero_() y.sum().backward() #为什么求导的时候要进行这个sum操作。 xyplot(x, x.grad, 'grad of tanh') 原因是：...
用例子对sum.backward()的浅析
lizhibin1的博客
03-15 1767
打印loss看结果当然，我们也可以手动验证一下,loss = (-2.1865-6.)^2 / 2= 33.509391125,与打印的loss相同，验证成功。
pytorch中backward()方法自动求梯度
Mr____Cheng的博客
07-02 2235
1、区分源变量和结果变量 x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True) y = x.relu() x为源变量，基于源变量x得到的变量y为结果变量。 2、如何使用backward()方法自动求梯度 一个标量调用它的backward()方法后，会根据链式法则自动计算出源变量的梯度值。 2.1、结果变量是一维张量 基于以上例子，就是将一维张量y变成标量后，然后通过调用backward()方法，就能自动计算出x的梯度值。 那么，如何将一维张量y变成
loss.sum().backward()中对于sum()的理解
q3241758733的博客
09-16 489
我们通过了解可以确定的所以backward前面都是标量。
pytroch backward（）函数
qq_34650787的博客
10-23 514
假设 x 经过一番计算得到 y，那么 y.backward(w) 求的不是 y 对 x 的导数，而是 l = torch.sum(y*w) 对 x 的导数。w 可以视为 y 的各分量的权重，也可以视为遥远的损失函数 l 对 y 的偏导数（这正是函数说明文档的含义）。特别地，若 y 为标量，w 取默认值 1.0，才是按照我们通常理解的那样，求 y 对 x 的导数。 函数原型为： torch.auto...
backward（）pytorch自动求导机制详解
03-26
这里可能需要解释梯度是如何累积的，尤其是当张量是标量时，可以直接调用backward()，但如果是非标量，就需要传入一个梯度参数，比如gradient参数。这里容易出错，用户可能会遇到需要匹配形状的问题，或者理解为什么...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值