Adaboost

2019独角兽企业重金招聘Python工程师标准>>>

        “三个臭皮匠赛过诸葛亮”的理念在ensemble methods中体现的可谓淋漓尽致。在boosting中，adaboost是其中的代表。下面让我们简单领略adaboost背后的那些不可思议的要点......

    1.adaboost的框架【adaboost提供的是一个算法框架】

                  

    2.原理简述

       【分类问题】   

        训练集D，样本权重w。基估计器（预测器）base estimator：G(x)【与框架中的y(x)相对应】。

        adaboost通过G(x)【训练得到G(x)】对D进行预测（分类），那些被误分类的样本的权重会被提高，在进入下一轮训练时，分类器会特别“关照”那些权重高的样本，这样再次分类时，误分类的样本数量【误分类绿率】就会下降，直至为0.此时也会得到相应的M个弱分类器，最终通过分类器的权重进行线性组合，得到一个最终的boss。

        熟悉adaboost的读者，相信你对adaboost算法的流程已经熟记于心，它就是这么吊！

                                                        【adaboost算法流程】

               

            可以看出，adaboost的原理在其算法流程中也体现的很清晰。

     3.adaboost另一种解释

      adaboost的另一个解释是模型为加法模型、损失函数是指数函数、学习算法为前向分步算法时的二分类学习方法。

     可以在此基础下，推导出在adaboost中的分类器权重更新的公式以及样本权重更新的公式！相信，你会豁然开朗！

    【具体推导详见：李航《统计学习方法》p144-p146】

     pdf下载链接：http://www.dataguru.cn/forum.php?mod=viewthread&tid=283660

转载于:https://my.oschina.net/stone8oy/blog/300779