神经网络的优化（2）----优化器、自适应学习率：Adagrad、RMSProp、Momentum、Adam

一、Adagrad        //这个优化器，带有自适应的学习率                                                                点击此处返回总目录 二、RMSProp      //Adagrad的进阶版，带有更好的自适应学习率 三、Momentum    //动量。 四、Adam            //RMSProp+Momentum。           下面开始讲，自适应学习率。                                     一、Adagrad 自适应的学习率，我们之前讲过。我们之前有讲过Adagrad。遗忘了可以回去看看。                                  但是实际上呢，我们面对的问题是有可能会比Adagrad可以处理的问题更加复杂的。也就是说，我们之前在做Linear Regression的时候呢，我们看到的Loss function是凸的。但是呢，我们在做deep learning的时候，loss function可以是任何形状。比如，它可以是下面这种怪异的月球的形状。当今天你的error surface是这个形状的时候，你会遇到的问题是，即使是同一个方向上，你的learning rate也必须能够快速地变动。对于convex的function，这个方向很平坦就一直很平坦，这个方向很陡峭，就一直很陡峭。但是，如果今天是更复杂的问题的时候，你考虑w1