beijiafei的博客

学习率 查看当前学习率参数值：optimizer.param_groups[0]['lr'] 训练时更改学习率：torch.optim.lr_scheduler.StepLR(optimizer,step_size=100,gamma=0.99,last_epoch=-1)。详解请看：TensorFlow和PyTorch之学习率衰减 ...

在训练神经网络时，有些情况下，需要对学习率进行调整。在这里分别介绍TensorFlow和PyTorch的一种方法。 tf.train.exponential_decay() TensorFlow提供了指数衰减法 tf.train.exponential_decay(learning_rate, global_step=global_step, decay_steps=100,decay_rate=...