模型融合Boosting、Bagging、Stacking、Blending等

1. Voting/Averaging

在不改变模型的情况下，直接对各个不同的模型预测的结果，进行投票或者平均，这是一种简单却行之有效的融合方式。

越相近的模型进行融合，融合效果也会越差。

2.Boosting

Boosting是一种将各种弱分类器串联起来的集成学习方式，每一个分类器的训练都依赖于前一个分类器的结果，顺序运行的方式导致了运行速度慢。和所有融合方式一样，它不会考虑各个弱分类器模型本身结构为何，而是对训练数据（样本集）和连接方式进行操纵以获得更小的误差。但是为了将最终的强分类器的误差均衡，之前所选取的分类器一般都是相对比较弱的分类器，因为一旦某个分类器较强将使得后续结果受到影响太大。

最终将这些弱分类器进行加权相加。

boosting里面每个分类器是弱分类器，因为他降低的是偏差，偏差过高是欠拟合。

常见的Boosting方法有Adaboost、GBDT、XGBOOST等。

3.Bagging

Bagging是Bootstrap Aggregating的缩写。这种方法同样不对模型本身进行操作，而是作用于样本集上。采用的是随机有放回的选择训练数据然后构造分类器，最后进行组合。与Boosting方法中各分类器之间的相互依赖和串行运行不同，Bagging方法中基学习器之间不存在强依赖关系，且同时生成并行运行。
　
Bagging里面每个分类器是强分类器，因为他降低的是方差，方差过高需要降低是过拟合。

4.Stacking

Stacking模型的本质是一种分层的结构，用了大量的基分类器，将其预测的结果作为下一层输入的特征，这样的结构使得它比相互独立训练模型能够获得更多的特征。

这种方法的问题在于，第一层的模型是我们用整个训练集训练出来的，我们又用这些模型来预测整个训练集的结果，毫无疑问过拟合将会非常严重。因此在实际应用中往往采用交叉验证的方法来解决过拟合问题。
1、首先我们将训练集分为五份。

2、对于每一个基模型来说，我们用其中的四份来训练，然后对未用来的训练的一份训练集和测试集进行预测。然后改变所选的用来训练的训练集和用来验证的训练集，重复此步骤，直到获得完整的训练集的预测结果。

3、对五个模型，分别进行步骤2，我们将获得5个模型，以及五个模型分别通过交叉验证获得的训练集预测结果。即P1、P2、P3、P4、P5。

4、用五个模型分别对测试集进行预测，得到测试集的预测结果：T1、T2、T3、T4、T5。

5、将P1_5、T15作为下一层的训练集和测试集

5.Blending

Blending是一种和Stacking很相像的模型融合方式，它与Stacking的区别在于训练集不是通过K-Fold的CV策略来获得预测值从而生成第二阶段模型的特征，而是建立一个Holdout集，例如20%的训练数据，第二阶段的stacker模型就基于第一阶段模型对这20%训练数据的预测值进行拟合。比如第一阶段有5个模型，每个模型预测不同的20%训练数据，加在一起就是100%的训练数据了，然后用于下次层训练。

转载https://www.cnblogs.com/libin47/p/11169994.html