深度学习实战-BP神经网络权值更新公式详解(Caffe之经典模型详解与实战上面的)

　　深度学习-Caffe之经典模型详解与实战上面推导的BP神经网络权值更新公式与机器学习(周志华那本有些不一样)，因此在这里重新推导一遍，由于优快云的公式编辑器太麻烦，直接照片上传吧！
　　三层神经网络的拓扑结构如图1所示：
　　
　　　　　　　　　　　　　　　　　　　　　　　图１　三层神经网络的拓扑结构
　隐层的传递函数为$f_1(.)$,输出层的传递函数为${f_2(.)}$,
　
　则隐层节点的输出为: $z_k=f_1(\sum _{i=0}^{n}v_{ki}x_i)$;
　
　输出层节点的输出为：$y_i=f_2(\sum _{k=0}^{q}v_{kjk}z_k)$;
　
　第$v$个样本的误差为：$E_v=\frac{1}{2}\sum _{j=1}^{m}(t_{j}^{v}-y_{j}^{v})^{2}$，其中$t_{j}^{v}$ 为期望输出；
　
　对$p$个样本点额全局误差为：$\frac{1}{2}\sum _{v=1}^{p}\sum _{j=1}^{m}(t_{j}^{v}-y_{j}^{v})^{2}=\sum _{v=1}^{p}E_v$

1、输出层权值跟新
　　　采用累计误差BP算法调整$w_{jk}$,使得全局误差 E E <script type="math/tex" id="MathJax-Element-1210">E</script>最小，即：
　　　

2隐层权值更新