机器学习算法的推广性

    推广性是指通过对观测数据进行学习得到的学习机器对未来测试数据进行正确判断或近似预测的能力。前面提到,一个性能优异的学习机器应该使得期望风险最小化,在实际应用中,也就是使得经验风险最小化。而经过长时间的实验与观测,研究人员逐渐发现,经验风险最小化并不总是使得学习机器有着对未知数据良好的预测和判断能力。也就是说,通过对观测数据进行经验风险最小化的学习,并不是总能够得到一个推广能力良好的学习机器。在某些情况下,一味地追求经验风险最小化,反而使得学习机器的推广能力急剧下降,这也就是我们常听到的“过学习”的问题。“过学习”问题的出现,主要由两方面的因素:首先,原始的观测数据数量并不充分,或者,观测数据并不具有很好的代表性;其次,学习机器在训练经验的选择、目标函数的选择、目标函数的表现形式、逼近算法等方面存在的设计缺陷也会导致过学习问题的出现。

通常来讲,学习机器的复杂性与推广能力两者之间,是矛盾的。复杂的学习机器,只能适应于特定环境、特殊情况下的系统预测问题,从而使得其推广能力变差;另一方面,简单的学习机器虽然具有很好的推广性能,但其却有这很大的误差,甚至无法对训练样本进行准确的预测和近似判断。所以,学习机器的复杂性应该同所研究的系统相关,同时还要同有限的观测数据相适应。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值