PyTorch的官方bug：torch.optim.lr_scheduler.CosineAnnealingWarmRestarts

torch.optim.lr_scheduler.CosineAnnealingWarmRestarts

低版本（如torch1.7.1）指定last_epoch参数时报错，已有人反馈指出，升级torch1.11.0可以解决该问题。

升级之后出现另外一个bug：训练过程中重启N次之后中断，再恢复进行预训练时，前N-1个epoch的lr错误，第N个epoch开始恢复正常。
例如当T_0=5, T_mult=2（这意味着lr将在第5,15,35,75,155,315…个epoch之后进行重启），预训练如果从第20个epoch开始时20的lr错误，21开始恢复正常；预训练从第40个epoch开始时40-41的lr错误，42开始恢复正常；预训练从第80个epoch开始时80-82的lr错误，83开始恢复正常

目前尚未解决，应该是官方bug，期待后续版本修复
【或者是我自己的代码逻辑出错，若有人无此问题，能正常恢复预训练，望评论告知，感谢！】