30、深度学习中的学习率调度器与迁移学习

深度学习中的学习率调度器与迁移学习

一、Mini - Batch 调度器

1.1 调度器概述

Mini - Batch 调度器的 step() 方法会在每个小批量结束时被调用，它们都是循环调度器，主要有以下几种：
- CyclicLR ：在 base_lr 和 max_lr 之间循环（忽略优化器中设置的初始学习率）。使用 step_size_up 次更新从 base_lr 上升到 max_lr ，再用 step_size_down 次更新降回。 mode = triangular 是基本模式，此外还有 triangular2 会在每个周期后将幅度减半， exp_range 会以 gamma 为底数、周期数为指数来指数式缩小幅度。通常， max_lr 可以选择通过 LR Range Test 找到的学习率。
- OneCycleLR ：使用退火方法，在 total_steps 次更新中，将学习率从初始值提升到 max_lr ，再降到一个更低的值，完成一个单一周期。
- CosineAnnealingWarmRestarts ：使用余弦退火更新学