PyTorch基本用法(二)——Variable

本文主要是PyTorch中Variable变量的一些用法。

import torch
from torch.autograd import Variable

tensor = torch.FloatTensor([[1, 2], [3, 4]])

# 定义Variable, requires_grad用来指定是否需要计算梯度
variable = Variable(tensor, requires_grad = True)

print tensor
print variable
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
 1  2
 3  4
[torch.FloatTensor of size 2x2]

Variable containing:
 1  2
 3  4
[torch.FloatTensor of size 2x2]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
# 计算x^2的均值
tensor_mean = torch.mean(tensor * tensor)
variable_mean = torch.mean(variable * variable)
print tensor_mean
print variable_mean
  • 1
  • 2
  • 3
  • 4
  • 5
7.5
Variable containing:
 7.5000
[torch.FloatTensor of size 1]
  • 1
  • 2
  • 3
  • 4
  • 5
# variable进行反向传播
# 梯度计算如下:
# variable_mean = 1/4 * sum(variable * variable)
# d(variable_mean)/d(variable) = 1/4 * 2 * variable = 1/2 * variable
variable_mean.backward()

# 输出variable中的梯度
print variable.grad
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
Variable containing:
 0.5000  1.0000
 1.5000  2.0000
[torch.FloatTensor of size 2x2]
  • 1
  • 2
  • 3
  • 4
  • 5
# *表示逐元素点乘,不是矩阵乘法
print tensor * tensor
print variable * variable
  • 1
  • 2
  • 3
  1   4
  9  16
[torch.FloatTensor of size 2x2]

Variable containing:
  1   4
  9  16
[torch.FloatTensor of size 2x2]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
# 输出variable中的data, data是tensor
print variable.data
  • 1
  • 2
 1  2
 3  4
[torch.FloatTensor of size 2x2]
### PyTorch 中 `autograd` 与 `Variable` 的关系及用法 #### 背景概述 PyTorch 提供了一个强大的自动求导包——`torch.autograd`,它能够对任意标量函数进行高效求导[^1]。在早期版本的 PyTorch 中,`Variable` 类被引入作为张量的一个封装层,用于支持自动求导功能。然而,在较新的版本中(如 v0.4.0 及以上),`Variable` 已经与核心数据结构 `Tensor` 合并,因此不再需要显式创建 `Variable` 对象。 #### 自动求导的工作原理 当执行涉及张量的操作时,PyTorch 动态构建了一棵计算图,这棵树记录了所有的操作及其依赖关系。通过这种方式,`autograd` 系统可以在反向传播阶段利用链式法则自动计算梯度,而无需手动推导复杂的微分公式[^4]。这种机制极大地简化了深度学习模型的设计和优化流程。 #### 使用示例 下面展示如何使用 `autograd` 计算简单函数的梯度: ```python import torch # 创建一个requires_grad=True的tensor,表示该tensor参与求导 x = torch.tensor([3.0], requires_grad=True) # 定义y=f(x)=x^2 y = x ** 2 # 执行backward()方法触发反向传播 y.backward() # 查看x关于y的梯度dy/dx=2*x print(f'Gradient of y with respect to x at x={x.item()} is {x.grad.item()}') ``` 此代码片段展示了如何设置张量以启用梯度跟踪(`requires_grad=True`),定义目标函数,并调用 `.backward()` 方法启动反向传播过程来获取输入相对于输出的变化率。 #### 关于计算图的建立 每当有带有 `requires_grad=True` 属性的张量参与到运算当中时,PyTorch 就会悄悄地建立起一张对应的计算图。这张图详细描述了各个节点之间的相互作用方式,从而为后续的梯度计算提供依据[^5]。 #### 注意事项 尽管现代版次已经取消单独存在的 `Variable` 结构体概念,但在实际编码期间仍需留意某些特定场景下的细微差异;例如不当运用原位(in-place)操作可能会干扰正常的梯度累积行为进而引发难以察觉的问题[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值