模型融合

模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获
意想不到的效果哦，往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升。

 

模型融合的方式
1. 平均：
a. 简单平均法
b. 加权平均法

2. 投票：
a. 简单投票法
b. 加权投票法

3. 综合：
a. 排序融合
b. log融合

4. stacking:
a. 构建多层模型，并利用预测结果再拟合预测。

5. blending：
a. 选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。Blending只有一层，而Stacking有多层

6. boosting/bagging

stacking\blending详解

stacking
将若干基学习器获得的预测结果，将预测结果作为新的训练集来训练一个学习器。如下图 假设有五个基学习
器，将数据带入五基学习器中得到预测结果，再带入模型六中进行训练预测。但是由于直接由五个基学习器
获得结果直接带入模型六中，容易导致过拟合。所以在使用五个基模型进行预测的时候，可以考虑使用K折验
证，防止过拟合。