pytorch学习（3）计算图和动态图

计算图

• 计算图是用来描述运算的有向无环图
• 计算图有两个主要元素：结点和边
• 结点表示数据，如向量、矩阵、张量；边表示运算，如加减乘除卷积等

用计算图表示

y = (x + w) * (w + 1)
a = x + w
b = w + 1
y = a * b

上述过程就是高数中的偏导数

例如：计算y对w的偏导数

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)     # retain_grad()
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward()
print(w.grad)

输出的结果为：

tensor([5.])

• 叶子结点：用户创建的结点称为叶子结点，如X与W
• is_leaf：指示张量是否为叶子结点
• 设置叶子结点的原因在于节省内存，因为在反向传播的过程中非叶子结点的梯度会直接释放

# 查看叶子结点
print("is_leaf:\n", w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)

# 查看梯度
print("gradient:\n", w.grad, x.grad, a.grad, b.grad, y.grad)

输出的结果为：

is_leaf:
 True True False False False
gradient:
 tensor([5.]) tensor([2.]) None None None

通过观察输出的结果可以发现，pytorch在反向传播的过程时，只有叶子结点的梯度保存下来

• grad_fn：记录创建该张量时所用的方法（函数）

y.grad_fn = <MulBackward0>
a.grad_fn = <AddBackward0>
b.grad_fn = <AddBackward0>

例如：

# 查看 grad_fn
print("grad_fn:\n", w.grad_fn, x.grad_fn, a.grad_fn, b.grad_fn, y.grad_fn)

输出的结果：

grad_fn:
 None None <AddBackward0 object at 0x00000194BC744A20> <AddBackward0 object at 0x00000194BCC77CC0> <MulBackward0 object at 0x00000194BCC77D68>

动态图

根据计算图搭建方式，可将计算图分为动态图和静态图

• 动态图：运算与搭建同时运行，灵活易调节，典型框架pytorch
• 静态图：先搭建图，后运算，高效不灵活，典型框架tensorflow