PyTorch深度学习——反向传播算法及代码实例（B站刘二大人P4学习笔记）

1 为什么要引入反向传播算法？

在之前的学习中，我们仅仅学习了只有一层的神经网络的计算，例如模型函数为 $y=x*w$ ，在使用梯度下降算法进行训练的时候，很轻松就可以利用求导公式计算出 $\frac{\partial loss}{\partial w}$ 。

但是在神经网络中不可能仅仅只有一层，神经网络就像我们大脑的神经系统，由很多层攀枝交错，经过多层函数的嵌套，不断的使我们训练的函数逼近真实的函数。如图所示是一个多层神经网络的示例图。

经过多层的嵌套，参数数量不断增加，我们很难利用求导公式直接求出 $\frac{\partial loss}{\partial w}$ 。所以这时我们引入反向传播算法。

2 反向传播算法原理

反向传播算法就类似于我们高数中所学的复合函数求导，例如两层的神经网络，就类似于两层的复合函数 $f(g(x))$ ，这时求 $f(g(x))$ 对x的导数，就可以先计算 $\frac{\partial f(g(x))}{\partial g(x)}$ ，再计算 $\frac{\partial g(x)}{\partial x}$ ，两数相乘就计算出了 $\frac{\partial f(g(x))}{\partial x }$ 。如图所示是反向传播算法的计算原理（先前馈，后反馈）：

此模型的计算图如下图所示：

3 代码实例

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

# torch.Tensor()生成新的张量
w = torch.Tensor([1.0])
# 是否需要计算梯度？——True
w.requires_grad = True


def forward(x):
    return x * w


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


# .item()的作用主要是把数据从tensor取出来，变成python的数据类型
print("训练前的预测是", 4, forward(4).item())
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        # 利用PyTorch的反向传播函数求梯度
        l.backward()
        # 这里是数值计算，w一定要取data值，tensor做加法运算会构建运算图，消耗内存
        print('\tgrad:', x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data

        # 每次反向传播的数据要清零
        w.grad.data.zero_()
    print("progress:", epoch, l.item())
print("训练之后的预测值是", 4, forward(4).item())

注意：1、torch.Tensor()作用是生成新的张量

2、w.requires_grad = True 意思是：是否需要计算梯度？——True

3、.item()的作用主要是把数据从tensor取出来，变成python的数据类型

4、.backward()函数：反向传播求梯度

5、w一定要取data值进行数值计算，tensor做加法运算会构建运算图，消耗内存

6、w.grad.data.zero_() ：每次反向传播的数据要清零，否则梯度值是每次计算相加的总额