深度学习_07_4_随机梯度下降_反向传播算法&函数优化实战

07_4_随机梯度下降_反向传播算法&函数优化实战

多层感知机梯度(反向传播算法)

Chain rule

通过链式法则，转换为对$O_K^1$和$O_K^2$的求导，一个一个求解。

Multi-output Perception(多输出感知机)

对$w_{jk}^1$的导数只和

1. 当前的相关联输出节点的值（$O_K$）（输出节点）
2. 输入节点$x_j^0$

有关。

Multi-Layer Perception

利用多输出感知机扩展成多层的感知机。意味着前面还有节点，蓝色部分不再是$x^0$层，而是中间的层，称之为$x^j$层。对$x^j$层前面遮挡，就和多输出感知机讲的一样，把$O_j^J$理解为$x^0$，导数解照样是先前一样：

$\frac{\delta E}{\delta w_{jk}}=(O_k-t_k)O_k(1-O_k)O_j^J$

这个是隐藏层的输出$O_j^J$，因为$x_j^J$还要$\sigma$激活后才是下一层的输入。

现在开始推导最终的loss对倒数第2层的$w_{ij}$的公式的推导过程，$\frac{\delta E}{\delta W_{ij}}$:

第一步（简化公式）：

对于$(O_k-t_k)O_k(1-O_k)$，我们设它为${\delta }_K^K$，一共有K个，下标从0~K-1。
$$\frac{\delta E}{\delta w_{jk}}=(O_k-t_k)O_k(1-O_k)O_j^J$$
前面3个只跟$O_K$节点有关系，代表了$O_K$节点的某种属性，它是$O_K$和$t_K$的线性组合，就是一个多项式。将其命名为${\delta }_K^K$(delta K)。为了简化$\frac{\delta E}{\delta w_{jk}}$的公式。
$$={\delta }_K^K{O}_j^J$$
这一部分输出节点$O_k$和label（$t_k$）的组合，多项式的运算，形成${\delta }_k$，因此对于这层上一共有K个节点的话，就有k个${\delta }_k$，即
$$\left[\begin{array}{c}{\delta }_0^k\\ {\delta }_1^k\\ {\delta }_2^k\\ ...\\ {\delta }_{K-1}^k\end{array}\right]$$
${\delta }_K^K$可以简化公式，并且直接可以通过前项计算得到，因为$O_k$和$t_k$都是知道的。我们再取上一层$O_j^J$的变量，就可以直接得到矩阵的数组：
$$\left[\begin{array}{c}{w}_{00}{w}_{01}\\ ...\end{array}\right]$$
这个矩阵数组就代表了这一层的所有连接的偏微分（梯度信息），通过这个矩阵就可以直接更新这一层输出层的$w_{jk}$。

第二步：

现在已经知道$\frac{\delta E}{\delta W^K}$上每一个的偏微分，现在求$\frac{\delta E}{\delta W^J}$也就是对倒数第2层的偏微分。如果知道倒数第2层是跟这一层有迭代关系的话，那么前面一层（假设$W^I$）也有一种迭代关系，可以一次次迭代得到。

首先把E展开
$$\frac{E}{W_{ij}}=\frac{\delta }{\delta W_{ij}}\frac{1}{2}\sum _{k\in K}(O_k-t_k{)}^2$$
因为$O_k$包含了ij的变量，因此，
$$=\sum _{k\in K}(O_k-t_k)\frac{\delta }{\delta Wij}{O}_k$$
然后继续把$O_k$展开，它是$x_k$经过激活函数后的值，
$$=\sum _{k\in K}(O_k-t_k)\frac{\delta }{\delta Wij}\delta (x_k)$$
将$\sigma$展开，
$$=\sum _{k\in K}(O_k-t_k)\delta (x_k)(1-\delta (x_k))\frac{\delta x_k}{\delta Wij}$$
展开$\frac{\delta x_k}{\delta Wij}$，$x_k^K$在黄色部分，$w_{ij}^J$为蓝色虚线部分。这里是使用链式法则的核心部分。

Wij先变成中间变量Oj，再变成xk，因此引进中间变量，
$$=\sum _{k\in K}(O_k-t_k)O_k(1-O_k)\frac{\delta x_k}{\delta O_j}\frac{\delta O_j}{\delta W_{ij}}$$
因此先从xk跳到Oj再跳到wij。

看图，j是k的前一行。

$\frac{\delta x_k}{\delta O_j}$，$x_k=\sum O_i{W}_{ik}i\in [0,j]$，只有i=j的时候，这两个链接才有直接的关系，因此$\frac{\delta x_k}{\delta O_j}=w_{jk}$
$$=\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}\frac{\delta O_j}{\delta W_{ij}}$$
现在求$\frac{\delta O_j}{\delta W_{ij}}$，因为$O_j$是$W_{ij}$的线性求和，把$\sigma$写出来，

把$\frac{\delta O_j}{\delta W_{ij}}$先提到之前来，后面的部分${\sum }_{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}$表示前面的一些属性，也就是黄色部分的属性，
$$=\frac{\delta O_j}{\delta W_{ij}}\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}$$
求$\frac{\delta O_j}{\delta W_{ij}}$，因为$O_j$是$W_{ij}$的线性求和，经过了$\sigma$激活函数，因此变成
$$=O_j(1-O_j)\frac{\delta x_j}{\delta W_{ij}}\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}$$
$\frac{\delta x_j}{\delta W_{ij}} $的偏微分等于$O_i$。

所以，最终会得到，
$$=O_j(1-O_j)O_i\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}$$
首先对$W_{ij}$的求导，会跟前面的节点相关，叫$O_i$；也跟后面的节点有关，叫$O_j$；还有k，也就是之前的，所有的${\delta }_k、W_{jk}$有关系。

简写：
$$\frac{\delta E}{\delta W_{ij}}=O_i{O}_j(1-O_j)\sum _{k\in K}{\delta }_k{W}_{jk}$$

把式子和前面的W、${\delta }_k$关联起来：

首先，如果只有黄色的这一层的话，我们已经推导出：

$\frac{\delta E}{\delta w_{jk}}=(O_k-t_k)O_k(1-O_k)O_j^J$

$\frac{\delta E}{\delta w_{jk}}={\delta }_k^K{O}_j^J$

也就是$W_{jk}$的表达式只取决于输出(也是输入)$O_j^J$和黄色部分的${\delta }_k$。

现在打出前面的层，对前面的层求导，之前已经推导了，为：

$\frac{\delta E}{\delta W_{ij}}=O_i{O}_j(1-O_j){\sum }_{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}$

第1段是灰色点的输入，第2段是蓝色（中间层）的输出，第3段是${\delta }_k$的求和。因为把$(O_k-t_k)O_k$叫做${\delta }_k$，$W_{jk}$只和$O_j^J$和${\delta }_k$有关。由$\frac{\delta E}{\delta w_{jk}}$的类比，可以把$\frac{\delta E}{W_{ij}}=O_i{O}_j(1-O_j){\sum }_{k\in K}{\delta }_k{W}_{jk}$的第2、3部分看做${\delta }_j^J$，它代表了这个梯度推导公式所有之前的信息，也就是当前层到最后一层（往右）的信息。

${\delta }_j^J=O_j(1-O_j){\sum }_{k\in K}{\delta }_k{W}_{jk}$

总结：

${\delta }_k$定义为从当前节点（k层节点）开始，到最终输出层的梯度的传导信息。只要拿到了${\delta }_k$的信息，再获得$O_j$就可以直接$\frac{\delta E}{\delta W_{jk}}=O_j\ast {\delta }_k$。

同样，计算中间层，只需要${\delta }_j$，再得到上一层输出$O_i$，因此$\frac{\delta E}{\delta W_{ij}}=O_i\ast {\delta }_j$，${\delta }_j$是当前节点的输出*（乘）上一层${\delta }_k$和$W_{jk}$的式子。

这是一个迭代的过程，对于输出层${\delta }_k$可以直接求导，上一层的${\delta }_j$也可以一次求出，${\delta }_j=O_j(1-O_j){\sum }_{k\in K}{\delta }_k{W}_{jk}$，参数都已知。那么，前面的${\delta }_i$、${\delta }_n$……都可以求出。

就是先求出k层，再往前j，再往前i，再往前……

形象表示：先看输出层${\delta }_k$以及更新的梯度$w_{jk}$……

Himmelblau函数优化(实战)

函数数学表达式：

$f(x,y)=(x^2+y-11)+(x+y^2-7{)}^2$

图形如下，4个角的最小值都是0

Minima(极小值点)

测试优化算法：

• 能不能找到最小值的解
• 参数的敏感性，不同的初始点会不会影响搜索的结果

Plot（画图）

函数的绘制，

#并行地生成一系列的坐标点，tf和np的meshgrid类似
X, Y = np.meshgrid(x,y)

Gradient Descent

求极小值，

具体实现

import numpy as np
from mpl_toolkits.mplot3d import Axes3D
from matplotlib import pyplot as plt
import tensorflow as tf

def himmelblau(x):
    return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 -7) ** 2

x = np.arange(-6,6,0.1)
y = np.arange(-6,6,0.1)
print('x y range:',x.shape,y.shape)
#并行地生成一系列的坐标点，tf和np的meshgrid类似
X, Y = np.meshgrid(x,y)
print('X,Y maps:',X.shape,Y.shape)
Z = himmelblau([X,Y])

fig = plt.figure('himmelblau')
ax = fig.gca(projection='3d')
ax.plot_surface(X,Y,Z)
ax.view_init(60,-30)
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.show()

# 参数的初始化值对优化的影响不容忽视，可以通过尝试不同的初始化值，
# 检验函数优化的极小值情况
# [1., 0.], [-4, 0.], [4, 0.]
x = tf.constant([4., 0.])
# x = tf.constant([1., 0.])
# x = tf.constant([-4., 0.])
# x = tf.constant([-2,2])

for step in range(200):# 循环优化
    with tf.GradientTape() as tape: #梯度跟踪
        tape.watch([x]) # 记录梯度
        y = himmelblau(x) # 前向传播
    # 反向传播
    #这里猜测返回的应该是列表，因此要取[0]
    grads = tape.gradient(y,[x])[0]
    # 更新参数,0.01为学习率
    x -= 0.01 * grads
    # 打印优化的极小值
    if step % 20 == 19:
        print('step {}: x = {}, f(x) = {}'
              .format(step,x.numpy(),y.numpy()))

结果

不同的初始点，会有不同的结果