卷积神经网络的调参技巧1

1 随机梯度下降
问题：
1.局部极值
2.鞍点saddle point问题
（动量梯度下降可以在一定程度上缓解以上的问题）
此外的问题是：
1.受到学习率的影响：导致梯度爆炸不收敛
2.每一个维度的学习率一样，阿尔发值是全局的，而不是个性化定义的，在稀疏上比较明显
解决方法：
AdaGrad算法：让梯度去做衰减
1.调整学习率：：使梯度有个累积值，将以往的梯度进行平方和，并且作为学习率的分母，使得学习率随着训练次数的增加而越来越小

特点：
1.前期。分母regularize较小，效果：放大梯度
2.后期。分母较大，缩小梯度
3.梯度随着训练次数降低
4.每个分量有不同的学习率

缺点：
1.学习率过大，导致分母影响过于敏感
2.后期分母累积值太大，提前结束训练

解决
采用Adamgrad的变种：RMSprop
有累积平方梯度变为平方梯度
解决了后期提前结束的问题

在平常训练中，一般采用Adam
使用learning_rate 来做参数

Adam设置如下比较有效：
贝塔beta1=0.9
beta2=0.999
learing_rate = 1e-3 or 5e-4