pytorch系列 --3 Variable,Tensor 和 Gradient

本文介绍了PyTorch中的Variable和Tensor,详细阐述了它们在自动梯度计算中的作用。重点讲解了Variable的声明、属性,包括data、grad和grad_fn,并通过实例展示了如何进行梯度计算。文中还提到了PyTorch 0.4中的变化,即Tensor和Variable的融合。最后,探讨了计算图的概念和多维张量的梯度计算方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Variable & Automatic Gradient Calculation

  • Tensor vs Variable
  • graph and gradient
    注意,在pytorch0.4中,tensor和pytorch合并了。
    https://pytorch.org/blog/pytorch-0_4_0-migration-guide/
    torch.Tensor 和 torch.autograd.Variable 是同一个类,更准确的说,torch.Tensor 也能像旧的Variable一样
    追踪历史,进行梯度计算等。Variable 仍然正常工作,但是返回的对象是torch.Tensor,这意味着不需要在代码中使用Variable(Tensor)了。

但是此篇文章主要讲述Variable的相关知识,将在下一篇在文章中讲述pytorch0.4的具体变化

引进库


import torch
from torch.autograd import Variable

Tensor 和 Variable

Variable:
在这里插入图片描述

autograde.Variable是一个类,在使用tensor_variable = autograde.Variable(tensor)后,
tensor_variable 有三个重要的属性:

  • data:保存着tensor_variable 的tensor向量
  • grad: 保存tensor_variable 的梯度值
  • grad_fn: 保存创建tensor_variable 的函数
    此外,还有一个属性requires_grad确定tensor_variable 是否具有求导的功能。
    以上Variable就是pytorch实现反向传播最核心的先决条件。
    接下里来看一下Variable的具体功能:
1) 声明 declaration
x_tensor = torch.Tensor(3,4)
x_tensor

out:

-12170.8672 0.0000 -12170.8672 0.0000
0.0000 0.0000 0.0000 0.0000
-12170.9453 0.0000 -12170.9453 0.0000
[torch.FloatTensor of size 3x4]

使用Variale转换Tensor

x_variable = Variable(x_tensor)
x_variable

out:

12170.8672 0.0000 -12170.8672 0.0000
0.0000 0.0000 0.0000 0.0000
-12170.9453 0.0000 -12170.9453 0.0000
[torch.FloatTensor of size 3x4]

2)Variable的属性

.data :Variable的Tensor数据

# .data -> wrapped tensor 
x_variable.data

out:

-12170.8672 0.0000 -12170.8672 0.0000
0.0000 0.0000 0.0000 0.0000
-12170.9453 0.0000 -12170.9453 0.0000
[torch.FloatTensor of size 3x4]

.grad: variable的梯度值

# .grad -> gradient of the variable
print(x_variable.grad)

out:

None

.reqires_grad: variable是否能进行梯度计算

# .requires_grad -> whether variable requres gradient
print(x_variable.requires_grad)

x_variable = Variable(x_tensor,requires_grad=True)
x_variable.requires_grad

.grad_fn: variable的创建函数

y = x_variable * 2

print(y.grad_fn)

out:

<MulBackward object at 0x0000012641CF6F98>

3. Graph & Variables

先看一个简单的计算图的例子:
可以简单的计算出w的梯度是x,也就是2,其余x,b的同样的可以简单计算出。

w = Variable(torch.Tensor
### PyTorch 中 `autograd` 与 `Variable` 的关系及用法 #### 背景概述 PyTorch 提供了一个强大的自动求导包——`torch.autograd`,它能够对任意标量函数进行高效求导[^1]。在早期版本的 PyTorch 中,`Variable` 类被引入作为张量的一个封装层,用于支持自动求导功能。然而,在较新的版本中(如 v0.4.0 及以上),`Variable` 已经与核心数据结构 `Tensor` 合并,因此不再需要显式创建 `Variable` 对象。 #### 自动求导的工作原理 当执行涉及张量的操作时,PyTorch 动态构建了一棵计算图,这棵树记录了所有的操作及其依赖关系。通过这种方式,`autograd` 系统可以在反向传播阶段利用链式法则自动计算梯度,而无需手动推导复杂的微分公式[^4]。这种机制极大地简化了深度学习模型的设计优化流程。 #### 使用示例 下面展示如何使用 `autograd` 计算简单函数的梯度: ```python import torch # 创建一个requires_grad=True的tensor,表示该tensor参与求导 x = torch.tensor([3.0], requires_grad=True) # 定义y=f(x)=x^2 y = x ** 2 # 执行backward()方法触发反向传播 y.backward() # 查看x关于y的梯度dy/dx=2*x print(f&#39;Gradient of y with respect to x at x={x.item()} is {x.grad.item()}&#39;) ``` 此代码片段展示了如何设置张量以启用梯度跟踪(`requires_grad=True`),定义目标函数,并调用 `.backward()` 方法启动反向传播过程来获取输入相对于输出的变化率。 #### 关于计算图的建立 每当有带有 `requires_grad=True` 属性的张量参与到运算当中时,PyTorch 就会悄悄地建立起一张对应的计算图。这张图详细描述了各个节点之间的相互作用方式,从而为后续的梯度计算提供依据[^5]。 #### 注意事项 尽管现代版次已经取消单独存在的 `Variable` 结构体概念,但在实际编码期间仍需留意某些特定场景下的细微差异;例如不当运用原位(in-place)操作可能会干扰正常的梯度累积行为进而引发难以察觉的问题[^2]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值