Environment
- OS: macOS Mojave
- Python version: 3.7
- PyTorch version: 1.4.0
- IDE: PyCharm
0. 写在前面
本文记录了 PyTorch 中怎样对张量的运算和求梯度。
在旧版本的 PyTorch 中 (version 0.4.0 之前),torch.autograd.Variable 为主要的运算对象。Variable 封装了 Tensor,能够进行自动求导。
Variable 有 5 个主要的属性
data
保存 Tensor 数据grad
保存 data 的梯度grad_fn
指向 Function 对象,用于反向传播时计算梯度requires_grad
为是否需要梯度is_leaf
为是否为是叶子结点(计算图中的概念)
从 versioin 0.4.0 开始,上述属性直接被赋予了 Tensor,直接使用 Tensor 作为主要的运算对象。
除了上述属性外,Tensor 还有 3 个主要的属性
dtype
数据类型shape
形状,即每个维度上的长度device
所在的设备,GPU 或 CPU
1. 计算图
计算图用来描述运算过程,由结点(node)和边(edge)组成,结构上是一个有向无环图(directed acyclic graph, DAG)。
- 结点表示数据,为torch.Tensor对象,输入数据的结点称为叶子结点
- 边表示具体运算,如加、减、乘、除、卷积、池化等
PyTorch 采用动态图机制,
- 创建张量实际上就是创建叶子结点
- 对张量进行运算实际上是构建计算图,并且在图中进行前向传播的过程
(而 TensorFlow 采用静态图机制,要求先搭建图,再给入数据进行运算)
构建如下简单的计算图
x = torch.tensor([
[1., 3],
[2, 4]
])
w = torch.tensor([
[1., 2],
], requires_grad=True)
# 与 NumPy 类似,PyTorch 中对 tensor 运算同样有 broadcast 机制
b = torch.tensor([3.], requires_grad=True)
mid = x @ w.T # 矩阵相乘,即 mid = torch.matmul(x, w.T)
out = mid