优化函数、学习速率与反向传播算法介绍

优化函数、学习速率与反向传播算法介绍

多层感知器

多层感知器架构：

输入层输入数据，中间有一层活着多层隐含层，接着是输出层，输出层有个特点，假如说，预测一个连续的值，不对其进行激活，直接输出；那么研究二分类问题（是、否），对输出层进行sigmoid()函数运算；进行多分类输出预测时，可以使用softmax()函数运算，从而输出多个分类的概率分布。

多层感知器的优化函数是梯度下降算法。

梯度下降算法

梯度下降算法是一种致力于找到函数极值点的算法。就是求解梯度，梯度的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的相应分量的偏导。梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向哪个方向移动函数值可以快速增长。（相反的，沿着梯度相反的方向移动，使得函数值快速减小，从而找到极值点）

梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率。

学习速率

学习速率是一种超参数或对模型的一种手工可配置的设置，需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。

在具体实践中，可通过查看损失函数值随时间的变化曲线来判断学习速率的选取是否是合适的。合适的学习速率，损失函数会随时间下降，到达一个底部；不合适的学习速率，损失函数可能会发生震荡（在极值点“跳跃”）。

学习速率选取原则：在调整学习速率时，既需要使其足够小，保证不至于发生超调，也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习。

在多层网络中，如何将损失函数（输出）计算的梯度传播回前面的网络层，反向传播算法可以解决次问题。

反向传播算法

反向传播算法是一种高效计算数据流图中梯度的技术，每一层的导数都是后一层的导数与前一层输出之积，这正是链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。

前馈时（计算损失函数），从输入开始，逐一计算每个隐含层的输出，直到输出层。然后开始计算导数，并从输出层经各隐含层逐一反向传播。为了减少计算量，还需对所有已完成计算的元素进行复用。这便是反向传播算法名称的由来。

常见的优化函数

**优化器(optimizer)**是编译模型的所需的两个参数之一。你可以先实例化一个优化器对象，然后将它传入model.compile()，或者你可以通过名称来调用优化器。在后一种情况下，将使用优化器的默认参数。

SGD: 随机梯度下降优化器随机梯度下降优化器SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们平梯度均值。参数：

lr: float >= 0.学习率。

momentum: float >=0.参数，用于加速SGD在相关方向上前进，并抑制震荡。

decay:float >= 0.每次参数更新后学习率衰减值。

nesterov: boolean.是否使用Nesterov动量。

RMSprop:（序列问题）经验上，RMSProp被证明有效且实用的深学习网络优化算法.RMSProp增加了一个衰减系数来控制历史信息的获取多少，RMSProp会对学习率进行衰减。建议使用优化器的默认参数(除了学习率lr，它可以被自由调节)。这个优化器通常是训练循环神经网络RNN的不错选择。参数：

lr: float >= 0.学习率。

rho: float >= 0.RMSProp梯度平方的移动均值的衰减率.

epsilon: float*=0.模糊因子.若为None,默认为K.epsilon()。

decay: float >= 0.每次参数更新后学习率衰减值。

Adam优化器:

1. Adam算法可以看做是修正后的Momentum+RMSProp算法.
2. Adam通常被认为对超参数的选择相当鲁棒（不敏感）
3. 学习率建议为0.001

Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。参数：

lr: float >= 0.学习率。

beta_1: float, 0 < beta <1.通常接近于1。

beta_2: float,0 < beta <1.通常接近于1。

decay: float >= 0.每次参数更新后学习率衰减值。