pytorch自动求导，自定义损失函数

最新推荐文章于 2025-06-20 00:42:53 发布

原创

最新推荐文章于 2025-06-20 00:42:53 发布 · 4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #python

本文探讨PyTorch中的动态建图和自动求导原理。通过实例展示了即使在不可求导的变量参与运算下，依然能对可求导变量进行反向传播求导。实验结果显示，只要有一个可求导的叶子节点，框架就能记录其路径并进行反向求导。理解这一机制有助于更好地利用PyTorch进行深度学习模型的训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  什么是动态建图？如何动态建图？动态建图为什么可以反向自动求导？ 

  我对于这个问题一直存在疑惑，但是去网上有没有找到好的解释，于是，没办法，自己实验吧。 

  首先，我们做如下定义： 

  a = torch.randn(2) 

  b = torch.randn(2) 

  c = torch.randn(2,requires_grad=True) 

  m = a*b 

  print(m.grad_fn) 

  q = a*c 

  print(q.grad_fn) 

  我们定义a，b为不可自动求导的，而c是可以自动求导的。按照我们的认知，m.grad_fn为None,那q呢？不可求导乘可以求导结果是什么呢？我们进行了打印，输出如下： 

 
 None<MulBackward1 object

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

1308900238

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Pytorch-Torch

YIU

04-11

785

Torch pytorch深度学习框架最重要的包torch 相关介绍 torch 官方文档说明如下： The torch package contains data structures for multi-dimensional tensors and defines mathematical operations over these tensors. Additionally, it provides many utilities for efficient serializing of Tens

python对自定义函数求导_从零开始搭建机器学习算法框架（python）--自动求导1

weixin_39585886的博客

12-15

473

介绍本期主要实现Vector类的自动求导的功能。这个功能听起来蛮麻烦的，实际上理解原理以后，实现起来还是比较简单的。原理的话，网络上有很多关于这方面的讨论，比如：tensorflow的函数自动求导是如何实现的？www.zhihu.comhttps://okcd00.oschina.io/articles/2017-10/%E3%80%90Autograd%E3%80%91%E6%B7%B1%E5...

参与评论您还未登录，请先登录后发表或查看评论

深度学习：Pytorch人工神经网络之损失函数

最新发布

sulin123123的博客

06-20

1448

smooth L1说的是光滑之后的L1，是一种结合了均方误差（MSE）和平均绝对误差（MAE）优点的损失函数。：与MAE相比，Smooth L1在小误差时表现得像MSE，避免了在训练过程中因使用绝对误差而导致的梯度不连续问题（影响模型的收敛性和稳定性）。：当误差较大时，损失函数会线性增加（而不是像MSE那样平方增加），因此它对离群点的惩罚更小，避免了MSE对离群点过度敏感的问题；在多分类任务通常使用softmax将logits（输出值）转换为概率的形式，所以多分类的交叉熵损失也叫做。

数据分析作业（二）Python对自定义函数求导并绘图

qq_43613819的博客

04-29

5436

利用Python对自定义函数求导一、题目描述二、解题步骤运行环境题目分析三、完整代码四、运行结果一、题目描述 自定义一个函数，对函数求一阶和二阶导数，并绘制原函数和求导函数的函数图像二、解题步骤运行环境 Anconda3.X Spyder（Python 3.7）题目分析步骤一：导入所需要的库 import sympy as sy #用于求导积分等数学计算 import matplotlib.pyplot as plt #绘图 import numpy as np 步骤二：定义函数通过symp

python求自定义函数的导数

weixin_43327597的博客

03-05

3666

求自定义函数的导数今天我们来讲一下，使用python求自定义函数求倒数的程序对于这个程序，我们的原理来自于导数的计算公式如下：那么根据如上公式，我们得到代码如下： #求函数的导数 import os import numpy as np #定义一个函数y=x**2 def y(x): return x**2 def derivative(x0,deltaX):#x0为所求点横坐标,deltaX为偏移量 return (y(x0+deltaX)-y(x0))/deltaX

1.Facebook深度学习框架PyTorch,变量、求导、损失函数

AI研究院

04-25

693

PyTorch 是 Facebook 发布的一款非常具有个性的深度学习框架，它和 Tensorflow，Keras，Theano 等其他深度学习框架都不同，它是动态计算图模式，其应用模型支持在运行过程中根据运行参数动态改变，而其他几种框架都是静态计算图模式，其模型在运行之前就已经确定。在 PyTorch 中 Tensor 代表多维数组，类似 TensorFlow 中的 matrix...

pytorch自动求导

qq_41166909的博客

02-13

1389

1. params = torch.tensor([1.0, 0.0], requires_grad=True) 注意到了张量构造函数的 require_grad = True 吗?这个参数告诉PyTorch需要追踪在 params 上进行运算而产生的所有张量。换句话说，任何以 params 为祖先的张量都可以访问从 params 到该张量所调用的函数链。如果这些函数是可微的（大多数PyTorch张量运算都是可微的），则导数的值将自动存储在参数张量的 grad 属性中。你可以将包含任意数量的张量的

pytorch中的自定义反向传播,求导实例

09-18

在`backward`方法中，则定义了如何根据损失函数的梯度来计算对输入数据的梯度，这使得我们可以使用PyTorch中的`loss.backward()`来自动计算该自定义操作的梯度。代码首先定义了`basis_function`函数，它用于计算...

PyTorch自定义网络层与损失函数实战指南（十二）

weixin_69882801的博客

03-15

848

'swish': Swish() # 使用自定义激活。

pytorch如何去定义新的自动求导函数

Python266的博客

12-16

462

pytorch定义新的自动求导函数

PyTorch

beautiful_man86的博客

10-07

213

什么是 PyTorch ? PyTorch是一个python库，它主要提供了两个高级功能： GPU加速的张量计算构建在反向自动求导系统上的深度神经网络 1. 定义数据一般定义数据使用torch.Tensor ， tensor的意思是张量，是数字各种形式的总称 Tensor支持各种各样类型的数据，包括： torch.float32, torch.float64, torch.float16, torch.uint8, torch.int8, torch.int16, torch.int32

PyTorch简介

Fighting Hua

11-30

2777

概述 PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。 2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算（如NumPy）。2、包含自动求导系统的深度神经网络。发展 PyTorch的前身是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。它是由T

Pytorch

xiaolouhan的博客

06-11

1946

Apex：Pytorch分布式数据并行DDP [另一种官方实现] python -m torch.distributed.launch --nproc_per_node=NUM_GPUS main_amp.py args... pytorch使用torch.utils.bottleneck预测程序瓶颈 torch.utils.bottleneck是一个可以用作调试程序瓶颈...

pytorch

weixin_44122303的博客

02-23

910

什么是pytorch PyTorch是一个提供两个高级功能的python包：具有强GPU加速度的张量计算（如numpy）深层神经网络建立在基于磁带的自动调整系统上您可以重用您最喜爱的python软件包，如numpy，scipy和Cython，以便在需要时扩展PyTorch。 PyTorch在细粒度级别是由以下组件组成的库：包描述 torch 像NumPy这样的Tensor图书馆，拥有强大的GPU支持 torch.autograd 一种基于磁带的自动分类库，支持所有可区分的Tensor操作手电筒

pytorch简介

热门推荐

bestrivern的博客

04-21

9万+

一.Pytorch是什么？ Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。但由于T...

自己设计一个较为复杂的函数，利用pytorch 自动求导。并写出反向传播求导的详细步骤。

09-25

在PyTorch中，你可以自定义非常复杂的函数，例如深度学习模型中的一个层或者整个网络结构。让我们设计一个简单的卷积神经网络（CNN）层作为例子，这个层包含一个卷积、批量归一化和ReLU激活函数。假设我们有一个4维输入张量（B, C, H, W），其中B代表批次大小，C是通道数，H和W是高度和宽度。 ```python import torch.nn as nn import torch.nn.functional as F class CustomLayer(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, stride=1, padding=0): super(CustomLayer, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride=stride, padding=padding) self.bn = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU() def forward(self, x): x = self.conv(x) x = self.bn(x) return self.relu(x) ``` 当你想要对该层进行反向传播，可以按照以下步骤： 1. **前向传播**： - 将输入数据`x`传递给`forward`方法。 - 计算经过卷积、批量归一化和ReLU后的输出`out`。 2. **保存中间结果**： - 在`forward`方法中，如果你需要跟踪梯度的源头，可以在关键操作后添加`retain_grad()`，如`y.retain_grad()`，其中`y`是某个中间输出。 3. **定义损失函数**： - 设定损失函数，比如交叉熵 loss，`loss = criterion(out, target)`。 4. **求导**： - 使用`loss.backward()`，这会开始反向传播，PyTorch会自动计算所有依赖于`loss`的张量的梯度。 5. **访问梯度**： - 如果你之前在某中间结果上设置了`retain_grad()`，那么可以通过`y.grad`获取对应张量的梯度。例如，如果你想看卷积层的权重更新，可以用`self.conv.weight.grad`.