MLP反向传播

最新推荐文章于 2025-10-15 19:24:00 发布

原创

最新推荐文章于 2025-10-15 19:24:00 发布 · 1.4k 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了神经网络中的链式法则及其在反向传播算法中的应用。通过实例展示了如何利用链式法则计算复合函数的偏导数，并在神经网络中进行误差反向传播，以更新权重。内容涵盖了从输入层到输出层的前向传播和反向传播过程，以及权重更新的计算步骤。

一、链式法则

链式法则用于求符合函数的导数，广泛应用于神经网络中的反向传播算法。
链式法则： $dydx=dydu∗dudx\frac{dy}{dx}=\frac{dy}{du}*\frac{du}{dx}$
链式法则在神经网络中的应用:

$\frac{\partial E}{\partial w_{jk}^{1}}=\frac{\partial E}{\partial O_{k}^{1}}\frac{\partial O_{k}^{1}}{\partial w_{jk}^{1}}=\frac{\partial E}{\partial O_{k}^{2}}\frac{\partial O_{k}^{2}}{\partial O_{k}^{1}}\frac{\partial O_{k}^{1}}{\partial w_{jk}^{1}}$

以 $e = (a + b) * (b + 1)$ 的偏导为例，其复合关系图如下

当a=2,b=1时,e的梯度我们可以用偏导关系来表示
利用链式法则进行推导:
1. $∂e∂a=∂e∂c∂c∂a=1∗2\frac{\partial e}{\partial a}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial a}=1*2$
2. $∂e∂b=∂e∂c∂c∂b+∂e∂d∂d∂b=2∗1+3∗1=5\frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac{\partial e}{\partial d}\frac{\partial d}{\partial b}=2*1+3*1=5$
规律总结:
1. 求偏导，可以从当前点，一直累乘到叶子结点，并求和。

输入层——>隐含层
1. 计算神经元h1的输入加权求和： $net_{h1}=w_1*i_1+w_2*i_2+b_1=0.05*0.15+0.10*0.25=0.3775$
2. 计算神经元h1的输出o1：
  $outh1=11+e−neth1=11+e−0.3775=0.593269992out_{h1}=\frac{1}{1+e^{-net_{h1}}}=\frac{1}{1+e^{-0.3775}}=0.593269992$