【深度学习技巧】Ranger优化器的使用

Ranger优化器的使用

0. 介绍

Ranger是RAdam + LookAhead结合，利用两者的优点。RAdam： 利用一个动态整流器来根据变化调整 Adam 的自适应动量，针对当前数据集，有效地提供了一个自动 warm-up，这使得训练能有一个好的开始。
LookAhead：减少了对大量超参数调优的需求，同时以最小的计算开销在不同深度学习任务之间实现更快的收敛。
细节：https://www.infoq.cn/article/q7gbmehnrd2rkjqv6cm3

1. 框架

2. 使用方法

Ranger优化器的使用方法

1. 将“ranger文件夹”放置到工程项目中
   
2. 将ranger库中的Ranger类导入到训练的代码中
   
3. 将网络初始权重放入到Ranger类，并设置初始学习率等
   
4. 已完成Ranger优化器的使用。

3. 代码

https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer

`