提升算法之AdaBoost算法原理及其公式推导

1.AdaBoost算法原理

     AdaBoost是代表性的提升算法。对于分类问题而言,在给定训练样本的条件下,找到一个弱分类器比找到一个强分类器要简单得多,提升算法就是从弱学习算法(弱分类器)出发,反复学习,得到一系列的弱分类器(基本分类器),然后组合这一系列的分类器,构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布(训练数据的权值分布),针对不同的分布调用弱学习算法学习一系列分类器。提升算法需要回答的两个问题:(1)在每一轮训练中如何改变训练数据的权值或者概率分布(2)如何组合这一系列的弱分类器成为一个强分类器。在AdaBoost中,针对问题(1),AdaBoost提高前一轮学习被错误分类的样本的权重,降低前一轮学习被正确分类的样本权重,使被错误分类的样本由于权重的提高在下一次的训练中得到重视。针对问题(2),AdaBoost采用加权多数表决的方法,即加大分类错误率小的分类器的权重,使其在表决中起较大作用,减少分类错误率高的分类器的权重,使其在表决中起到较少的作用。

2.AdaBoost算法推导过程

3.AdaBoost算法说明

参考文献

1.李航《统计学习方法》

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值