1.12反向传播误差到更多层

隐藏层误差
在每层两个节点的情况下，即网络是$$2\ast 2\ast 2$$

隐藏层第一个节点的误差计算，由输出层误差按权重分配
$$e_{h1}=e_{o1}\cdot (\frac{w_{1,1}}{w_{1,1}+w_{2,1}})+e_{o2}\cdot (\frac{w_{1,2}}{w_{1,2}+w_{2,2}})$$
相应的：
$$e_{h2}=e_{o1}\cdot (\frac{w_{2,1}}{w_{1,1}+w_{2,1}})+e_{o2}\cdot (\frac{w_{2,2}}{w_{2,1}+w_{2,2}})$$

因矩阵相乘的规则是
$$\left[\begin{array}{cl}a& b\\ c& d\end{array}\right]\cdot \left[\begin{array}{c}e\\ f\end{array}\right]=\left[\begin{array}{c}a\cdot e+b\cdot f\\ c\cdot e+d\cdot f\end{array}\right]$$

所以反推得到关于第一个节点的隐藏层矩阵的点乘式
和第二个节点的隐藏层矩阵的点乘式
$$e_{h1}=\left[\begin{array}{cl}\frac{w_{1,1}}{w_{1,1}+w_{2,1}}& \frac{w_{1,2}}{w_{2,1}+w_{2,2}}\end{array}\right]\cdot \left[\begin{array}{c}{e}_{o1}\\ e_{o2}\end{array}\right]$$

$$e_{h2}=\left[\begin{array}{cl}\frac{w_{2,1}}{w_{1,1}+w_{2,1}}& \frac{w_{2,2}}{w_{2,1}+w_{2,2}}\end{array}\right]\cdot \left[\begin{array}{c}{e}_{o1}\\ e_{o2}\end{array}\right]$$

综上，存在误差隐藏层矩阵点乘式是

$$e_{hidden}=\left[\begin{array}{cl}\frac{w_{1,1}}{w_{1,1}+w_{2,1}}& \frac{w_{1,2}}{w_{2,1}+w_{2,2}}\\ & \\ \frac{w_{2,1}}{w_{1,1}+w_{2,1}}& \frac{w_{2,2}}{w_{2,1}+w_{2,2}}\end{array}\right]\cdot \left[\begin{array}{c}{e}_{o1}\\ e_{o2}\end{array}\right]$$

这些分数难以处理，所以可以丢掉分母，弊端是失去后馈误差的大小

$$e_{hidden}=\left[\begin{array}{cl}{w}_{1,1}& w_{1,2}\\ & \\ w_{2,1}& w_{2,2}\end{array}\right]\cdot \left[\begin{array}{c}{e}_{o1}\\ e_{o2}\end{array}\right]$$
这样，第一个矩阵就变成了原来隐藏层权重矩阵的转置矩阵$$w^T$$

于是，反向传播误差为：
$$e_{hidden}=w^T\cdot e_{output}$$