keras ReduceLROnPlateau和EarlyStopping

Cv_Terry

于 2020-11-16 16:29:58 发布

阅读量1.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： keras 深度不学习

本文链接：https://blog.youkuaiyun.com/ALZFterry/article/details/109722544

深度不学习同时被 2 个专栏收录

29 篇文章

订阅专栏

keras

11 篇文章

订阅专栏

本文介绍了在深度学习模型训练中，如何使用ReduceLROnPlateau回调函数动态调整学习率，以应对训练后期可能出现的loss和accuracy波动。当`val_accuracy`在`patience`个epoch内不再提升时，学习率会按`factor`减少，防止过拟合。同时，还探讨了早停策略（EarlyStopping）的使用，如果`val_accuracy`连续下降，训练将提前终止，以避免过拟合。`patience`参数在早停策略中应设置得比学习率调整策略更大，以确保模型有足够的时间收敛。这两个策略结合使用能够优化模型性能并提高训练效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

monitor：监测的值，可以是accuracy，val_loss,val_accuracy
factor：缩放学习率的值，学习率将以lr = lr*factor的形式被减少
patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
mode：‘auto’，‘min’，‘max’之一 默认‘auto’就行
epsilon：阈值，用来确定是否进入检测值的“平原区”
cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
min_lr：学习率最小值，能缩小到的下限
 
Reduce=ReduceLROnPlateau(monitor='val_accuracy',
                         factor=0.1,
                         patience=2,
                         verbose=1,
                         mode='auto',
                         epsilon=0.0001,
                         cooldown=0,
                         min_lr=0)

这个函数是这样的初始的学习率可能不适合后期的训练，后者后期训练时候loss，acc一直在波动，可以动态减少学习率。

EarlyStop=EarlyStopping(monitor='val_accuracy',
                        patience=2,verbose=1, mode='auto')

上面这个是早停函数，如果被检测的val_accuracy,出现两个epochs的下降，那么提前停止防止过拟合。
EarlyStopping的patience要比ReduceLROnPlateau的patience大一些才会有效果。
参考：https://www.freesion.com/article/4104548785/
参考：https://blog.youkuaiyun.com/weixin_41449637/article/details/90201206