深度学习3 自动微分（梯度计算、控制、清零、叶子节点）

五、自动微分

1、基础概念

        模块 autograd  负责自动计算张量操作的梯度，具有自动求导功能；autograd   创建一个动态计算图来跟踪张量的操作，每个张量是计算图中的一个节点，节点之间的操作构成图的边。  

        属性 requires_grad 决定是否对张量进行梯度计算，默认不进行。

        方法 backward 进行反向传播，计算张量梯度。

        tensor.grad 返回梯度值

2、计算梯度

        元素必须为浮点数类型

2.1、标量

# 张量的梯度计算
import torch
x = torch.tensor(1.0,requires_grad = True)
y = x**2 +2*x +3
y.backward() # 梯度计算，(1,求y的导数；2、将标量带入导数函数求值)
# x.grad 表示求导带入值结果
print(x.grad)

import torch
# 多标量的梯度计算
x1 = torch.tensor(1., requires_grad=True)
x2 = torch.tensor(2., requires_grad=True)
y = x1**2 + 3*x2 +5
y.backward()
print(x1.grad)
print(x2.grad)

 2.2、向量

        损失函数接收向量后，需要进行整合称为一个元素（一半使用sum）才能进行反向传播。

反向传播后自动拆分为不同元素值的结果。

# 向量的梯度计算
import torch
x = torch.tensor([1.0,2.0,3.0],requires_grad = True)
y = x**2 +2*x +5
print(y)
y = y.sum()
print(y)
y.backward()
print(x.grad)

import torch
# 多向量的梯度计算
x1 = torch.tensor([1.,2.], requires_grad=True)
x2