深度卷积神经网络（CNN tricks）调参技巧（一）学习率调节

做卷积神经网路方面的研究，有时会遇到一些苦恼。大抵是：
1、复现别人的网络，得不到相同的表现。
2、自己的网络调参，结果调不上去。
所以有些大佬就总结了一些调参的tricks,在这里学习记录一下，然后加上一些自己的理解。
影像神经网络效果的因素可能有但不限于以下几点：

• 学习率调节
• 优化器
• 初始化方法
• 标签平滑
• 归一化

学习率

好的学习率可以让调参过程事半功倍，那么什么是好的学习率呢，

source：https://sgugger.github.io/how-do-you-find-a-good-learning-rate.html
好的学习率应该是有利于网络学习到参数的，或者说损失函数能够得到有效的降低。对于这幅示意图来说就是，需要函数能够快速的到达谷底。如果学习率太大，就可能会直接错过最低点。
如果学习率太小，就可能学得太慢，同样也不可取。
那么应该如何选取初始值呢，

source：https://sgugger.github.io/how-do-you-find-a-good-learning-rat