PyTorch 深度学习:60分钟快速入门（2） ----Autograd: 自动求导

PyTorch 中所有神经网络的核心是autograd包.我们首先简单介绍一下这个包,然后训练我们的第一个神经网络.

autograd包为张量上的所有操作提供了自动求导.它是一个运行时定义的框架,这意味着反向传播是根据你的代码如何运行来定义,并且每次迭代可以不同.

接下来我们用一些简单的示例来看这个包

Tensor

torch.Tensor是包的核心类。如果将其属性设置 .requires_grad为True，则会开始跟踪其上的所有操作。完成计算后，您可以调用.backward()并自动计算所有梯度。该张量的梯度将累积到.grad属性中。

要阻止张量跟踪历史记录，您可以调用.detach()将其与计算历史记录分离，并防止将来的计算被跟踪。

要防止跟踪历史记录（和使用内存），您还可以用with torch.no_grad():将代码块包装起来。在评估模型时，这可能特别有用，因为模型可能具有requires_grad = True的可训练参数，但我们不需要梯度。

对自动求导的实现还有一个非常重要的类,即Function

Tensor和Function是相互联系的,并形成一个非循环图来构建一个完整的计算过程.每个tensor有一个.grad_fn属性,它指向创建该变量的一个Function,用户自己创建的tensor除外,它的grad_fn属性为None.

如果你想计算导数,可以在一个tensor上调用.backward().如果一个tensor是一个标量(它只有一个元素值),你不必给该方法指定任何的参数,但是如果该tensor有多个值,你需要指定一个和该tensor相同形状的gradient参数去匹配

import torch

创建一个变量并设置requires_grad=True 去跟踪计算

x = torch.ones(2, 2, requires_grad=True)
print(x)

输出：

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

在tensor上执行操作:

y = x + 2
print(y)

输出：

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)

因为y是通过一个操作创建的,所以它有grad_fn

print(y.grad_fn)

输出：

<AddBackward0 object at 0x7fe1db427470>

在y上执行更多的操作

z = y * y * 3
out = z.mean()

print(z, out)

输出：

tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)

.requires_grad_( ... ) 会原地改变一个已存在tensor的 requires_grad 标志.如果没提供的话，默认是False.

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)

输出：

False
True
<SumBackward0 object at 0x7fe1db427dd8>

梯度

现在我们来执行反向传播,out.backward()相当于执行out.backward(torch.tensor(1.))

out.backward()

计算d(out)/dx的梯度

print(x.grad)

输出：

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

这段就不翻译了，主要是他的那些数学表达式复制不下来，具体就是一个雅克比矩阵，想了解的可以google一下

现在让我们来看一个雅可比矢量积的例子：

x = torch.randn(3, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2

print(y)

输出：

tensor([ -444.6791,   762.9810, -1690.0941], grad_fn=<MulBackward0>)

现在在这种情况下y不再是标量。torch.autograd 无法直接计算完整雅可比行列式，但如果我们只想要雅可比矢量乘积，只需将矢量传递给 backward参数

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)

print(x.grad)

输出：

tensor([1.0240e+02, 1.0240e+03, 1.0240e-01])

你还可以通过将代码块包装在以下内容autograd ：with torch.no_grad() 来停止在Tensors上跟踪历史记录

print(x.requires_grad)
print((x ** 2).requires_grad)

with torch.no_grad():
    print((x ** 2).requires_grad)

输出:

True
True
False

稍后阅读:

关于autograd和Function的文档在 http://pytorch.org/docs/autograd.