人工神经网络连接权重的优化与调整

一、简介
承接上文我们提到的感知模型等内容，下面我们将对神经网络学习过程中权重值的调整优化进行详细的介绍。

二、权重的调整与优化
当神经网络采用梯度下降算法时，每一次的迭代都本着使损失函数减小最快的原则调整连接权重，接下来我们对这一块的内容进行展开学习。在实际应用中，不同类型的问题对应的损失函数形式也有所不同。在一般的预测问题中，如果各观测值是相互独立的，那么损失函数通常是误差函数的加总形式，数学表达为：

其中M为模型结构，D为数据集，W为模型参数，E为误差函数，f为预测模型，X和y分别为输入与输出变量，从这个式子来看，损失函数的复杂度在很大程度上取决于误差函数与预测模型的复杂度。
在参数优化中，如果模型是关于参数W的线性函数，误差函数为误差平方，那么损失函数L就是W的二次函数，此时的参数优化问题就比较简单——只存在唯一最值。但如果模型结构和误差函数的形式较为复杂，则损失函数L就不一定是关于W的简单平滑函数，有可能为多峰的，此时求解参数W就等价于在高维空间最小化一个多元复杂函数的问题。每一次的迭代都沿着曲面向使损失函数下降最快的方向移动，并且在这一过程中还需要分辨局部最小与全局最小，如下图所示:

连接权重W的调整:
调整连接权重的目的是使得损失函数W达到最小，在任意t时刻，连接权重的调整都应沿着损失函数曲面下降最快的方向（即负梯度方向）进行，这也就意味着我们需要计算损失函数的方向导数，找到函数下降最快的方向和最大值，计算负梯度方向和梯度模。可以证明，如果t时刻连接权重W的偏导数存在，则W的方向导数就是损失函数对W的偏导，由于我们选用的Sigmoid激活函数处处可微，因此该条件得到满足。
此处参考B-P反向传播网络有以下公式：

学习率：
在连接权重推导完之后，再来简单了解一下学习率n。
正如前面所说，连接权重的不断调整过程可以理解为是超平面不断向正确位置移动的过程，而每一次的移动都与学习率有关。
一般情况下，我们并不希望超平面一次移动过大或者过小。因为，学习率过大，那么连接权重的调整量也就比较大，这会导致神经网络模型工作的不稳定性，并且当逼近误差最小点时可能会因震荡而难以达到最小值的位置。如果学习率过小，那么超平面逼近正确目标的进程可能就会很漫长。
那么怎样的学习率才是合理的呢？目前为止尚没有合理统一的解释，一般来讲优先考虑设置为小正数（例如0.1），并结合模型训练情况进行不断调整。
此外还需要注意的是，在整个的学习过程中，n是一个动态变化的量，t+1时刻的学习率是对t时刻学习率的修正，具体分两种情况说明：
当t+1时刻误差函数的偏导数符号与t时刻相同时，则为加速收敛过程，n(t+1)等于n(t)加上一个衰减量。
当t+1时刻误差函数的偏导数符号与t时刻相反时，说明误差函数值已经跃过最小值，此时n(t+1)等于n(t)减去一个衰减量。

在算法的实际应用中，很多时候我们都需要明确哪些输入变量对输出变量的预测更为重要，而神经网络中的权重仅作为节点的连接强度测度，它是无法直观揭示输出变量的重要性的。为此，Neuralnet函数中提供了广义权重(Generalize Weight)用于测度解释变量的重要性。第i个输入变量的广义权重则定义为：

我们在权重优化时需要注意到这点。

三、总结
以上就是本期与大家分享的关于神经网络从搭建到权重优化等的一系列内容，希望大家能有所收获。好记性不如烂笔头，建议大家下载个SNPE来实际操作下，环境搭建前面我的文章中有介绍。