机器学习笔记（XVIII）神经网络（V）全局最小局部极小

训练集上的误差

使用$E$表示神经网络在训练集合上的误差，则$E$是关于连接权值$\mathbf{w}$和阈值$\theta$的函数。

最优

对$\mathbf{w}^*$和$\theta^*$若存在$\epsilon\gt0$使得，

$$\forall(\mathbf{w};\theta)\in\left\{(\mathbf{w};\theta)\mid||(\mathbf{w};\theta)-(\mathbf{w}^*;\theta^*)||\leq\epsilon\right\},$$ 都有 $E(\mathbf{w};\theta)\geq E(\mathbf{w}^*;\theta^*)$成立，则 $(\mathbf{w}^*;\theta^*)$为 局部极小解，若对于参数空间内中的任意 $(\mathbf{w}^*;\theta^*)$都有 $E(\mathbf{w};\theta)\geq E(\mathbf{w}^*;\theta^*)$成立，则 $(\mathbf{w}^*;\theta^*)$为 全局最小解。

跳出局部极小值

多个出发点

以多组不同参数值初始化多个神经网络，按照标准方法训练之后，取其中误差最小的解作为最终参数，这相当于从不同的初始点开始搜索，这样就有可能陷入不同的局部最小值，从中选择有可能获得更接近全局最小的结果。

模拟退火

模拟退火，每一步都以一定的概率接受比当前更差的结果，从而有助于“跳出”局部最小，在每一步的迭代中，接受“次优解”的概率要随着时间推移而降低，从而保证算法稳定。

随机梯度下降

随机梯度下降法与标准的梯度下降法不同，随机梯度下降法在计算梯度时加入了随机因素，于是即使陷入局部极小值点，它计算出的结果仍可能不为 0 <script type="math/tex" id="MathJax-Element-1064">0</script>,这样就可能有机会跳出局部极小值点继续搜索。