最优学习率寻找

https://github.com/vmbbc/pytorch-lr-finderhttps://github.com/vmbbc/pytorch-lr-finder

Keras 实现最优学习率寻找（LR Range Test) - 知乎深度神经网络使用随机梯度下降和可微分的误差向后传递更新神经网络中所有的可训参数 (trainable parameters \theta )，从而学到一个层级化的表示，此表示相当于一个函数 f， 能近似的将输入 x 映射到输出 y, 即 f(…https://zhuanlan.zhihu.com/p/80487971?ivk_sa=1024320u&utm_id=0

学习率预热，一般LOSS相对最开始下降到80%， 可以任务达到预热状态