关于novikoff定理成立的条件(感知机的收敛性)

本文通过解读李航《统计学习方法》中Novikoff定理,探讨了学习率如何影响算法的总学习次数。实验表明,定理成立的前提是学习率固定,否则总次数会受学习率影响。关键发现和实验结果揭示了novikoff定理适用的条件和例外情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

读李航的《统计学习方法》时,读到了novikoff定理,内容如下:

我马上感到困惑,k怎么与学习率无关呢?难道学习率再小也能保证在此上界次数内学完?

研究公式发现,更新k次后得到超平面方程为

(\eta \sum y_{i}\hat{x}_{i}+\hat{w_{0}})\hat{x}=0

其中求和项内是每次(共k次)用来更新权重的误分类实例。

显然,如果\hat{w_{0}}=0,则\eta可约去,此方程与学习率\eta无关,那么总学习次数与\eta也无关;

如果

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值