全连接神经网络正向传播、反向传播和参数更新详解

问题与概述

在很长时间里，人们对于给定一组x~y求解函数$y=f(x)$一直有各种各样的研究，长期以来，人们依赖于数学方法求解计算，但是当计算机快速发展，人们的求解工具也在逐步进化。

接下来的文章中，我会以以下顺序讲解：

1. 人们希望解决怎样的问题；
2. 全连接神经网络概述；
3. 正向传播如何实现；
4. 反向传播如何实现。

回归问题与分类问题

从分类的角度，可以大致分为两类问题：回归问题与拟合问题。

回归问题是给定一组x与连续的y，求解x与y的关系。

比如：给定x=[1,2,3,4,5],y=[2,4,6,7,9,10]，可以大致看出$y=2x$。

分类问题是给定一组x与离散的y，求解x与y的关系。

比如：给定x=[1,2,3,4,5,6],y=[-0.8,-1.1,-1,2,0.9,1.1]，可以大致看出$y=\{\begin{array}{ll}-1& \text{if }x<3.5\\ 1& \text{if }x>3.5\end{array}$。

通过上面的例子，不难发现这种对应关系实际上是很难确定的。

全连接神经网络

参考神经元的工作原理（实际上生物学中神经元的功能比$y=f(x)$更为复杂），对神经元建模，变得到左边是多组不同神经元输入，右边是多组相同的输出。

函数可变为
$$f(x)=\sum _{\begin{array}{}\end{array}}(a_i{x}_i)+b$$
可以简单的看做是对输入的加权之后增加一个偏置。
但是对于神经元来说，输出是离散的，遵循函数$y=\{\begin{array}{ll}0& \text{if }x<0\\ 1& \text{if }x>=1\end{array}$，这种离散的特性让参数学习（求导过程）很难在计算机中进行（求导结果为0），对于某个参数的更新是通过$\lambda \leftarrow \lambda +\Delta \lambda$，而求导结果为0导致了$\Delta \lambda$很难求解（$\Delta \lambda$永远为0），于是需要使用激活函数。最常用的激活函数是$sigmoid(x)=\frac{1}{1+e^{-x}}$。

该函数有一个特点：$f^{\prime }(x)=f(x)(1-f(x))$，这个在反向传播中需要用到。

这样一个感知机就产生了。

有效性

对于一个4分类问题，类别为 { D 1 , D 2 , D 3 , D 4 } \{D_1, D_2, D_3, D_4\} {D1​,D2​,D3​,D4​}，训练两个感知器，第一个感知机可以将类型分为 { D 1 , D 2 } , { D 3 , D 4 } \{D_1, D_2\}, \{D_3, D_4\} {D1​,D2​},{D3​,D4​}，第二个感知机可以将类型分为 { D 1 , D 4 } , { D 2 , D 3 } \{D_1, D_4\}, \{D_2, D_3\} {D1​,D4​},{D2​,D3​}，那么这两个感知机（神经元）并联一定可以直接得到类型。

训练感知机

对于训练集，构成是x~y，那么假定神经网络输出为$\hat{y}$，$\hat{y}$与真实的标签$y$之间一定有误差，这时就需要一个函数$f(y,\hat{y})$来计算其误差，也被称为损失函数。模型的训练就是减少损失函数的过程，损失函数有很多种，并且有很多介绍，在此不再赘述。

公式推导

正向传播（前向传播）

对于一个神经元，其中$a,b$为参数
$$f(x)=\sum _{\begin{array}{}\end{array}}(a_i{x}_i)+b\text{\hspace{1em}(1)}$$

经过激活函数得到输出
$$\begin{array}{c}\begin{array}{rl}\hat{y}& =sigmoid(f(x))\\ & =sigmoid(\sum _{\begin{array}{}\end{array}}(a_i{x}_i)+b)\end{array}\end{array}\text{\hspace{1em}(2)}$$

经过损失函数$f(y,\hat{y})$得到损失，假设使用均方误差作为损失函数

$$E_k=f(y,\hat{y})=\frac{1}{2}\sum _{\begin{array}{}\end{array}}(\widehat{y_j}-y_j{)}^2\text{\hspace{1em}(3)}$$

反向传播

希望求解参数$a,b$，使用工具$a\leftarrow a+\Delta a，b\leftarrow b+\Delta b$，该问题变为如何求解$\Delta a,\Delta b$，我们期望从损失函数$E_k=f(y,\hat{y})$反向推导出参数$a,b$对应的损失$\Delta a,\Delta b$。接下来就是对参数的推导。以下图神经网络为例，后面的公式推导会使用图中的变量

假定对于隐藏层$b$的第$h$个神经元$b_h$收到的输入为
$${\alpha }_h=\sum _{\begin{array}{}\end{array}}(v_{ih}{x}_i)\text{\hspace{1em}(4)}$$

输出层第$j$个神经元$y_j$收到的输入为
$${\beta }_j=\sum _{\begin{array}{}\end{array}}(w_{hj}{b}_h)\text{\hspace{1em}(5)}$$

$w_{hj}$为神经元$b_h$的输出。通过(5)式可得到

$$b_h=\frac{\partial {\beta }_j}{\partial w_{hj}}\text{\hspace{1em}(6)}$$

BP算法基于梯度下降算法，以目标的负梯度方向对参数进行调整，给定学习率$\eta$，有

$$\Delta w_{hj}=-\eta \frac{\partial E_k}{\partial w_{hj}}\text{\hspace{1em}(7)}$$

展开

$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial \widehat{y_j}}\cdot \frac{\partial \widehat{y_j}}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}\text{\hspace{1em}(8)}$$

先看前两项，相当于对$\partial sigmoid(E_k)=\partial E_k\partial sigmoid(E_k)$求导

$$\frac{\partial E_k}{\partial \widehat{y_j}}\cdot \frac{\partial \widehat{y_j}}{\partial {\beta }_j}=\frac{\partial E_k}{\partial {\beta }_j}=\widehat{y_j}(\widehat{y_j}-1)(y_j-\widehat{y_j})\text{\hspace{1em}(9)}$$

结合式(6)(7)(8)(9)可以得到

$$\Delta w_{hj}=-\eta \widehat{y_j}(\widehat{y_j}-1)(y_j-\widehat{y_j})b_h\text{\hspace{1em}(10)}$$

$b_h$为当前轮的参数，所以是已知的。

其余的参数与此类似。

资料

拟合方法简介：

1. 最小二乘法（Least Squares）：通过最小化数据点到拟合曲线的误差的平方和来拟合曲线。
2. 样条插值（Spline Interpolation）：一种插值方法，通过在数据点之间建立平滑的曲线来拟合数据。
3. 多项式拟合（Polynomial Regression）：基于多项式的拟合方法，用于描述两个变量之间的关系。
4. 指数拟合（Exponential Regression）：基于指数函数的拟合方法。
5. 对数拟合（Logarithmic Regression）：基于对数函数的拟合方法。
6. 幂函数拟合（Power Regression）：基于幂函数的拟合方法。