模式识别(六):分类器集成技术之AdaBoost

深入探讨AdaBoost算法的核心思想与实现
本文详细解析了AdaBoost算法的起源与基本原理,重点阐述了新加入分类器如何通过调整对前分类器错误分类样本的关注度来提升整体性能。文中还分享了一种实现算法中关键步骤的方法,并邀请读者提出更多优化思路。

 

本系列文章由孙旭编辑,转载请注明出处

http://blog.youkuaiyun.com/longyindiyi/article/details/20068781

多谢合作!

 

关于 Adaboost 的身世已经有很多博客探讨过,这里我们不再赘述,我们直接讨论算法本身。

 

 

在 Yoav Freund 和 Robert E. Schapire 的原文献《A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting》中,针对两类问题的 AdaBoost 算法描述如下:

 

 

算法的思想是新加入的分类器在训练时,对前面分类器错分的样本进行了特别的照顾,即加大其出现在训练样本中的概率。

 

事实上,在实现上述算法过程时,难点出现在编号为 2 的那一步,即如何向待训练分类器提供满足特定概率分布的样本。

 

处理方式可以参考 Richard Stapenhurst 的代码(boostingDemo)

 

 

indices = sum(repmat(cumsum(p), trainNum, 1) <= ...
                repmat(rand(trainNum, 1), 1, trainNum), 2) + 1;


基本思想是按照概率分布进行重采样处理,这样重新采样得到的样本中,概率大的样本会出现的次数比概率小的样本要大。

 

 

大家如果有什么其他好方法也可以共享出来探讨一下。

 

 

 

 

 

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值