集成算法

集成算法是指利用多个分类器的结果，增强模型的泛化能力和健壮性。

集成方法常分为两类：

1. averging methods：平均法的原则是： 独立的构建几个学习器，然后平均他们的预测。通常，组合的学习器要比任何一个单个的学习器要好，因为它降低了方差。                                                                                                                                                                 其中的代表：bagging 方法，随即森林
2. boosting methods：学习器依次构建，试图降低组合的学习器的偏差。                                                                                                                                        其中的代表：AdaBoost，Gradient Tree Boosting

boosting派系，它的特点是各个弱学习器之间有依赖关系。bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。

平均法原则（average methods）：

1. bagging算法：

①  Bagging又叫自助聚集，是一种根据均匀概率分布从数据中重复抽样（有放回）的技术。

②  每个抽样生成的自助样本集上，训练一个基分类器；对训练过的分类器进行投票，将测试样本指派到得票最高的类中（或者是结果的平均值）。

③  每个自助样本集都和原数据一样大

④  有放回抽样，一些样本可能在同一训练集中出现多次，一些可能被忽略。

也就是说，bagging算法是随机放回抽样，训练集之间相互独立，得到独立的多个模型，如果模型用于分类，则找出多个分类器投票最多的结果，作为最终结果；如果模型用于回归预测，则取模型结果的平均数作为结果。

2.

传统的集成算法一般是bagging和boost方法，现在比较流行的是随机森林()和梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)

XGBoost

Adaboost

轻松看懂机器学习十大常用算法:

http://blog.jobbole.com/108395/

http://www.52ml.net/10052.html

https://blog.youkuaiyun.com/jiejinquanil/article/details/52270178