tensorflow.keras 加载预训练模型后修改学习率lr

哈_哈，笑一个吧！

已于 2022-05-10 20:35:49 修改

阅读量1.1k

点赞数 1

分类专栏： graduate 文章标签： python tensorflow 深度学习 keras 学习

于 2022-05-10 20:35:16 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43499703/article/details/124696762

版权

graduate 专栏收录该内容

9 篇文章

订阅专栏

在Keras中，加载预训练模型的权重后，若需更改模型的学习率，直接修改`optimizer.lr`可能无效，因为加载权重会保留原有的优化器状态。解决方案是在加载权重前先保存优化器的状态，然后加载权重，最后再设置新的学习率。参考代码示例展示了如何在加载权重后正确设置学习率为5e-04。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一个数据集上训练模型，训练很多个epoch后，学习率lr已经变得很小，需要改变lr

想在新数据集上加载此模型，使用model.load_weights后，模型的学习率仍为原来的小学习率

加入代码

from keras import backend as K
# To get learning rate
print(K.get_value(model.optimizer.lr))
# To set learning rate
K.set_value(model.optimizer.lr, 0.001)
keras.__version__ # 2.0.2

我的原始代码：

    weightsPath = '/content/drive/MyDrive/Violence/Datasets/save_path/RealLife/bestValPath/'
    model.load_weights(f'{weightsPath}').expect_partial()
    optimizer = Adam(lr=5e-04,amsgrad=True)
    model.compile(optimizer=optimizer, loss='binary_crossentropy', metrics=['acc'])

使用此代码学习率无法改变

改后代码：

    weightsPath = '/content/drive/MyDrive/Violence/Datasets/save_path/RealLife/bestValPath/'
    model.load_weights(f'{weightsPath}').expect_partial()
    optimizer = Adam(lr=5e-04,amsgrad=True)
    model.compile(optimizer=optimizer, loss='binary_crossentropy', metrics=['acc'])
    K.set_value(model.optimizer.lr,5e-04)

注意不能删除这两行代码

    optimizer = Adam(lr=5e-04,amsgrad=True)
    model.compile(optimizer=optimizer, loss='binary_crossentropy', metrics=['acc'])

参考链接：
原链接1
参考链接2