【pytorch16】MLP反向传播

链式法则回顾

多输出感知机的推导公式回顾

只与w相关的输出节点和输入节点有关

多层多输入感知机

扩展为多层感知机的话，意味着还有一些层（理解为隐藏层σ函数），暂且设置为$x_j$层

对于$x_j$层如果把前面的层数和输入挡住的话就可以类似于一个单层的多输入感知机一样

逐步推导最终的loss对第二层$w_{jk}$的推导公式

把$O_k^k$与$t_k$的线性组合换元成${\delta }_k^k$,因此对于最终的输出层上面一共有k个节点的话，最终会有k个${\delta }^k$，通过这个中间变量可以得到${\delta }^k$的变量再乘一个输入$O^j$，通过这两个相乘就可以得到一个损失对$w_{jk}$的梯度计算公式，看起来比原先的要简洁和清晰，所以单独取了一个名字

δk\delta^{k}δ