深度学习(四)-前馈神经网络

  在前馈神经网络中，各神经元分别属于不同的层。每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。第 0 层叫输入层，最后一层叫输出层，其它中间层叫做隐藏层，相邻两层的神经元之间为全连接关系，也称为全连接神经网络($FNN$)，表现形式如下图所示。

  我们用下面的记号来描述一个前馈神经网络：
    $L$：表示神经网络的层数
    $m^{(l)}$：表示第 $l$ 层神经元的个数
    $f_l(\cdot )$：表示 $l$ 层神经元的激活函数
    $W^{(l)}$：表示 $l-1$ 层到第 $l$ 层的权重矩阵
    $b^{(l)}$：表示 $l-1$ 层到第 $l$ 层的偏置
    $z^{(l)}$：表示 $l$ 层神经元的净输入
    $a^{(l)}$：表示 $l$ 层神经元的输出

  前馈神经网络通过下面公式进行信息传播:
$$z^{(l)}=W^{(l)}\ast a^{(l-1)}+b^{(l)}$$
$$a^{(l)}=f_l(z^{(l)})$$
  上面两式也可以得到：
$$z^{(l)}=W^{(l)}\ast f_{l-1}(z^{(l-1)})+b^{(l)}$$
  或者
$$a^{(l)}=f_l(W^{(l)}\ast a^{(l-1)}+b^{(l)})$$
  这样，前馈神经网络可以通过逐层的信息传递，得到网络最后的输出 $a^{(l)}$。整个网络可以看作一个复合函数 $\varphi (x;W,b)$，将向量 $x$ 作为第1层的输入 $a(0)$，将第 $L$ 层的输出 $a(L)$ 作为整个函数的输出。
$$x=a(0)\to z(1)\to a(1)\to z(2)\to \cdot \cdot \cdot \to a(L-1)\to z(L)\to a(L)=\phi (x;W,b))$$
  其中 $W,b$ 表示网络中所有层的连接权重和偏置。

1. 反向传播算法

  上面简单的介绍了前馈神经网络，我们发现一个神经网络的输出好坏是由参数 $W,b$ 决定的，那么训练神经网络的过程其实就是不断的更新参数来得到最好的结果，在前面的pytorch学习(一)-线性回归中使用了损失函数 $f$ 来控制模型训练的结果，其本质就是需要计算出 $f$ 的梯度$\nabla f$，反向传播算法就是一个有效地求解梯度的算法。

1.1 链式法则

  假设有一个函数 $f(x,y,z)=(x+y)z$，我们需要对其求微分，当然很多人一眼就可以看出 $f(x,y,z)$ 对 $x$，$y$，$z$ 的微分，但是如果函数复杂呢，所以我们换一种方式，假设 $q=x+y$， 那么可以求得微分:
$$\frac{\partial f}{\partial q}=z;\frac{\partial f}{\partial z}=q;\frac{\partial q}{\partial x}=1;\frac{\partial q}{\partial y}=1$$
  但是我们关心的是 ∂ f ∂ x , ∂ f ∂ y , ∂ q ∂ z \frac{ {\partial f}}{ {\partial x}},\frac{ {\partial f}}{ {\partial y}},\frac{ {\partial q}}{ {\partial z