BP算法公式推导

最新推荐文章于 2023-11-27 14:08:36 发布

王先生的副业

最新推荐文章于 2023-11-27 14:08:36 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习机器学习文章标签：算法神经网络

本文链接：https://blog.youkuaiyun.com/uncle_gy/article/details/78914806

机器学习同时被 2 个专栏收录

46 篇文章

订阅专栏

机器学习

39 篇文章

订阅专栏

前提

训练样例： $(\mathbf{x}_k,\mathbf{y}_k)$ ,
神经网络输出： $\hat{\mathbf{y}}_k=(\hat{y}_{1}^{k},\hat{y}_{2}^{k},\dots,\hat{y}_{\ell}^{k})$ 其中： $\hat{y}_{j}^{k}=f(\beta_j-\theta_j)$
均方误差：

E k = 1 2 \sum j = 1 ℓ (y^k j - y k j) 2

$E_k=\dfrac{1}{2}\sum_{j=1}^{\ell}(\hat{y}_{j}^{k}-y_{j}^{k})^2$
第 $j$ 个输出神经元的输入：

β j = \sum h = 1 q w h j b h

$\beta_j=\sum_{h=1}^{q}w_{hj}b_h$
参数更新方式：

v \leftarrow v + Δ v

$v\leftarrow v+\Delta v$
$f(x):$

f (x) = 1 1 + e - x

$f(x)=\dfrac{1}{1+e^{-x}}$
$f(x)':$

f' (x) = - (1 - e - x) - 2 (- e - x) = e - x ( 1 + e - x ) 2 = f (x) (1 - f (x))

$\begin{aligned}f'(x)&=-(1-e^{-x})^{-2}(-e^{-x})\\ &=\dfrac{e^{-x}}{(1+e^{-x})^2}\\ &=f(x)(1-f(x))\end{aligned}$

梯度下降法

举一个非常简单的例子，如求函数 $f(x)=x^2$ 的最小值。
利用梯度下降的方法解题步骤如下：
1、求梯度， $\nabla=2x$
2、向梯度相反的方向移动 $x$ ，如下 $x\leftarrow x-\gamma\cdot \nabla$
，其中， $\gamma$ 为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。
3、循环迭代步骤2，直到 $x$ 的值变化到使得 $f(x)$ 在两次迭代之间的差值足够小，比如 $0.00000001$ ，也就是说，直到两次迭代计算出来的基本没有变化，则说明此时已经达到局部最小值了。
4、此时，输出 $x$ ，这个 $x$ 就是使得函数 $f(x)$ 最小时的 $x$ 的取值。

目标

使得均方误差 $E_k$ 最小，

推导 $\Delta{w_{hj}}$

给定学习率 $\eta$
按照上面的方法：
求梯度： $\nabla{w_{hj}}=\dfrac{\partial{E_k}}{\partial{w_{hj}}}=\dfrac{\partial{E_k}}{\partial{\hat{y}_{j}^{k}}}\dfrac{\partial{\hat{y}_{j}^{k}}}{\partial{\beta_j}}\dfrac{\partial{\beta_j}}{\partial{w_{hj}}}$
其中:

\partial β j \partial w h j = \partial \sum q h = 1 w h j b h \partial w h j = b h

$\begin{aligned} \dfrac{\partial{\beta_j}}{\partial{w_{hj}}}=\dfrac{\partial{\sum_{h=1}^{q}w_{hj}b_h}}{\partial{w_{hj}}}=b_h \end{aligned}$
前两项表示为：

\partial E k \partial y ^ k j \partial y ^ k j \partial β j = \partial 1 2 \sum ℓ i = 1 ( y ^ k i - y k i ) 2 \partial y ^ k j \partial y ^ k j \partial β j = (y^k j - y k j) y^k j (1 - y^k j)

$\begin{aligned} \dfrac{\partial{E_k}}{\partial{\hat{y}_{j}^{k}}}\dfrac{\partial{\hat{y}_{j}^{k}}}{\partial{\beta_j}}&=\dfrac{\partial{\dfrac{1}{2}\sum_{i=1}^{\ell}(\hat{y}_{i}^{k}-y_{i}^{k})^2}}{\partial{\hat{y}_{j}^{k}}}\dfrac{\partial{\hat{y}_{j}^{k}}}{\partial{\beta_j}}\\ &=(\hat{y}_{j}^{k}-y_{j}^{k})\hat{y}_{j}^{k}(1-\hat{y}_{j}^{k}) \end{aligned}$
定义

gj=−∂Ek∂y^kj∂y^kj∂βj=y^kj(1−y^kj)(ykj−y^kj) $g_j=-\dfrac{\partial{E_k}}{\partial{\hat{y}_{j}^{k}}}\dfrac{\partial{\hat{y}_{j}^{k}}}{\partial{\beta_j}}=\hat{y}_{j}^{k}(1-\hat{y}_{j}^{k})({y}_{j}^{k}-\hat{y}_{j}^{k})$
负梯度方向：

Δ w h j = - η \nabla = - η \partial E k \partial w h j = η g i b h

$\begin{aligned} \Delta{w_{hj}}&=-\eta\nabla\\ &=-\eta\dfrac{\partial{E_k}}{\partial{w_{hj}}}\\ &=\eta{}g_ib_h \end{aligned}$

推导 $\Delta{\theta_j}$

同样对于 $\Delta{\theta_j}$
求梯度： $\nabla{\theta_j}=\dfrac{\partial{E_k}}{\partial{w_{hj}}}=\dfrac{\partial{E_k}}{\partial{\hat{y}_{j}^{k}}}\dfrac{\partial{\hat{y}_{j}^{k}}}{\partial{\theta_j}}=g_j$
于是得到

Δ θ j = - η g j

$\Delta\theta_j=-\eta{g_j}$

推导 $\Delta{v_{ih}}$

Δ v i h E k y^k j β j b h α h = - η \partial E k \partial v i h = 1 2 \sum j = 1 ℓ (y^k j - y k j) 2 = f (β j - θ j) = \sum h = 1 q w h j b h = f (α h - γ h) = \sum i = 1 d v i h x i

$\begin{aligned} \Delta{v_{ih}}&=-\eta{}\dfrac{\partial{E_k}}{\partial{v_{ih}}}\\ E_k&=\dfrac{1}{2}\sum_{j=1}^{\ell}(\hat{y}_{j}^{k}-y_{j}^{k})^2\\ \hat{y}_{j}^{k}&=f(\beta_j-\theta_j)\\ \beta_j&=\sum_{h=1}^{q}w_{hj}b_h\\ b_h&=f(\alpha_h-\gamma_h)\\ \alpha_h&=\sum_{i=1}^{d}v_{ih}x_i \end{aligned}$
所以得到，

\partial α h \partial v i h = x i

$\dfrac{\partial\alpha_h}{\partial{v_{ih}}}=x_i$

\partial b h \partial α h = b h (1 - b h)

$\dfrac{\partial{b_h}}{\partial{\alpha_h}}=b_h(1-b_h)$

\partial β j \partial b h = w h j

$\dfrac{\partial{\beta_j}}{\partial{b_h}}=w_{hj}$
根据链式法则剩下的部分就是

gj $g_j$ ，但是因为

Ek $E_k$ 中的每一项都包含了

vih $v_{ih}$ 所以最终的结果就是

Δ v i h = - η \partial E k \partial v i h = η b h (1 - b h) \cdot x i \sum j = 1 ℓ g j \cdot w h j

$\begin{aligned} \Delta{v_{ih}}&=-\eta{}\dfrac{\partial{E_k}}{\partial{v_{ih}}}\\ &=\eta{b_h(1-b_h)}\cdot{x_i}\sum_{j=1}^{\ell}g_j\cdot{w_{hj}} \end{aligned}$
令