集成学习1-Boosting

转自http://blog.youkuaiyun.com/lvhao92/article/details/51079018

集成学习大致分为两类，一类串行生成，如Boosting。一类为并行化，如Bagging和“随机森林”。

下面分别介绍：

1.Boosting

这个方法是先训练出一个基学习机，然后，对训练样本进行学习，对于识别错的样本进行额外的关注，从而对训练样本的分布进行调整，然后用新的样本分布训练下一个学习器。如此重复，最后将这若干个基学习机进行加权结合。

Boosting的代表就是大名鼎鼎的AdaBoost。

讲一个故事，我们团队坐在1308里面开会。要解决很多问题，第一个人先来解决，这时候，有的问题被他很好的解决了，而有的问题并没有很好的被解决。此刻，我们会将他并不能解决的问题给予更多的关注，具体做法是加大这个问题的权重，从而能得到下一个人的更多的关注。而对这个人已经解决了的问题则减少它的权重。我们也会根据每个人解决问题的能力赋予每个人不一样的权重，能力越高权重越大。直到有一天，遇到一个问题我们大家都不知道答案，然后大家分别去发表自己的观点，最后的结果是综合大家的看法给出的。也就是每个人的观点会结合这个人的权重之后综合得出。这里，每个人就是一个个的弱分类器。大家一起这样的组合就是强分类器。数学表述就是“加权结合”（1）h则为各种学习器，就是那些人。前面的a就是权重，就是他们的话语权。下面也不会说太多，想说的就是只有这几点：1.既然这也是一个模型，那我们模型的优化公式是什么。2.我们之前说的每个问题会根据人的解决结果而改变其权重，那么这个权重又是如何改变的？3.每个人也会根据自身的解决问题的能力所赋予一定的话语权（权重），那这个公式又是什么？所以我主要想说好这几点。

1