学习率(learning rate)

NNothing丶

已于 2023-04-20 18:11:05 修改

阅读量391

点赞数

分类专栏： Tensorflow 神经网络文章标签：神经网络 python 机器学习

于 2023-04-20 17:25:51 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_39014212/article/details/130271273

版权

Tensorflow 同时被 2 个专栏收录

7 篇文章

订阅专栏

神经网络

4 篇文章

订阅专栏

文章介绍了学习率在优化过程中的重要性，特别是使用指数衰减学习率的方法。通过设置初始学习率、衰减率和衰减步长，可以在训练初期快速收敛，并在后续迭代中保持模型稳定性。示例展示了如何在TensorFlow中实现这一过程，用于调整权重参数w，以最小化损失函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习率(learning rate)

$\large W_{_(t+1){}} = W_{t} - lr * \frac{\partial loss}{\partial W_{t}}$

更新后的参数 = 当前参数 - 学习率 * 损失函数的梯度(偏导数)

损失函数:

$\large loss = (w + 1)^{^{2}}$

指数衰减学习率

可以先用较大的学习率，快速得到最优解，然后逐步减小学习率，使模型在训练后期稳定。

指数衰减学习率 = 初始学习率 * 学习率衰减率 ^（当前轮数 / 多少轮衰减一次）

epoch = 40
LR_BASE = 0.2   # 初始学习率
LR_DECAY = 0.99  # 学习衰减率
LR_STEP = 1  # 多少轮衰减一次

for epoch in range(epoch):
    lr = LR_BASE * LR_DECAY ** (epoch / LR_STEP)
    with tf.GradientTape() as tape:
        loss = tf.square(w + 1)
    grads = tape.gradient(loss, w)

    w.assign_sub(lr * grads)
    print("After %s epoch, w is %f, loss is %f, lr is %f" % (epoch, w.numpy(), loss, lr))