pytorch系列 --3 Variable，Tensor 和 Gradient

最新推荐文章于 2022-05-13 10:31:52 发布

原创

最新推荐文章于 2022-05-13 10:31:52 发布 · 1.9k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #gradient

本文介绍了PyTorch中的Variable和Tensor，详细阐述了它们在自动梯度计算中的作用。重点讲解了Variable的声明、属性，包括data、grad和grad_fn，并通过实例展示了如何进行梯度计算。文中还提到了PyTorch 0.4中的变化，即Tensor和Variable的融合。最后，探讨了计算图的概念和多维张量的梯度计算方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Variable & Automatic Gradient Calculation

Tensor vs Variable
graph and gradient
注意，在pytorch0.4中，tensor和pytorch合并了。
https://pytorch.org/blog/pytorch-0_4_0-migration-guide/
torch.Tensor 和 torch.autograd.Variable 是同一个类，更准确的说，torch.Tensor 也能像旧的Variable一样
追踪历史，进行梯度计算等。Variable 仍然正常工作，但是返回的对象是torch.Tensor,这意味着不需要在代码中使用Variable（Tensor）了。

但是此篇文章主要讲述Variable的相关知识，将在下一篇在文章中讲述pytorch0.4的具体变化

引进库


import torch
from torch.autograd import Variable

Tensor 和 Variable

Variable:
在这里插入图片描述

autograde.Variable是一个类，在使用tensor_variable = autograde.Variable(tensor)后，
tensor_variable 有三个重要的属性：

data:保存着tensor_variable 的tensor向量
grad: 保存tensor_variable 的梯度值
grad_fn: 保存创建tensor_variable 的函数
此外，还有一个属性requires_grad确定tensor_variable 是否具有求导的功能。
以上Variable就是pytorch实现反向传播最核心的先决条件。
接下里来看一下Variable的具体功能：

1）声明 declaration

x_tensor = torch.Tensor(3,4)
x_tensor

out:

-12170.8672 0.0000 -12170.8672 0.0000
0.0000 0.0000 0.0000 0.0000
-12170.9453 0.0000 -12170.9453 0.0000
[torch.FloatTensor of size 3x4]

使用Variale转换Tensor

x_variable = Variable(x_tensor)
x_variable

out:

12170.8672 0.0000 -12170.8672 0.0000
0.0000 0.0000 0.0000 0.0000
-12170.9453 0.0000 -12170.9453 0.0000
[torch.FloatTensor of size 3x4]

2)Variable的属性

.data :Variable的Tensor数据

# .data -> wrapped tensor 
x_variable.data

out:

-12170.8672 0.0000 -12170.8672 0.0000
0.0000 0.0000 0.0000 0.0000
-12170.9453 0.0000 -12170.9453 0.0000
[torch.FloatTensor of size 3x4]

.grad: variable的梯度值

# .grad -> gradient of the variable
print(x_variable.grad)

out:

None

.reqires_grad: variable是否能进行梯度计算

# .requires_grad -> whether variable requres gradient
print(x_variable.requires_grad)

x_variable = Variable(x_tensor,requires_grad=True)
x_variable.requires_grad