李宏毅深度学习笔记（九）BP(Back propagation)神经网络计算详解（手算）

这里我用一个实例来实现以下BP神经网络计算的过程：
这个实例中输入$x_1=1$，$x_2=-1$，输出$y=0.5$，$w_1$到$w_6$为参数。

先通过上述模型计算出各个神经元的输入与输出：
构造损失函数，这里我们使用交叉熵损失函数$C=-yln\hat{y}$，$y$为标签值，$\hat{y}$为计算出来的值。
接下来用反向传播来求解偏导数：

到这一步我们已经求出了各个参数的偏导数了，下一步就是更新参数了，我们设学习率$\eta$为0.6

可以看到更新参数之后算得的${\hat{y}}^{\prime }$比原来的$\hat{y}$更接近0.5了，接下来只要按照上述的步骤一遍一遍进行操作就可以了。结束更新的操作可以是循环了k次或者$\hat{y}$与$y$之间的距离足够小。