如何避免陷入鞍点（局部最小）

（一）以多组不同参数值初始化多个神经网络，去其中误差最小的作为结果

（二）使用“模拟退火”技术

　　模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出局部最小值。在每次迭代过程中，接受’“次优解”的概率要随着时间的推移而逐渐降低，从而保证算法稳定。

（三）使用随机梯度下降

　　每次随机选取一个样本进行梯度下降，在梯度下降时加入了随机因素。即便陷入了局部最小点，它计算出的梯度可能仍不为零，这样就有机会跳出局部最小继续搜索。