关于《深度学习》书中,第十一章中学习率过低会导致训练误差高位扰动的问题的猜想

探讨《深度学习》一书中提到的学习率过低导致训练误差高位扰动问题,分析非凸函数环境下,过低的学习率如何使得网络在局部区间内震荡,无法有效推进。

关于《深度学习》书中,第十一章中学习率过低会导致训练误差高位扰动的问题的猜想
首先,凸问题中不存在,证明在二阶偏导的情况下,即数据中有一个明显的误差下降方向时,不会造成这种情况。
这里就得到了两个条件,非凸且学习率过低。
过低,低到什么程度,我们大胆猜测是由于低于了数据的扰动误差,即观测误差,或者是不可避免误差,这个误差可能是贝叶斯误差,在这个范围内,非凸函数的不断震荡,使得网络在一个局部区间内同样发生震荡,而且由于扰动过小,无法在真实空间内前进,而是在一个误差空间内不断游走。
不知道写这个东西的时候,有没有论文解决这个问题,但还是写了下来。

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值