【机器学习】kaggle比赛大杀器——模型融合

更多代码： Gitee主页：https://gitee.com/GZHzzz
博客主页： 优快云：https://blog.youkuaiyun.com/gzhzzaa

0 写在前面

• 本文不涉及到各个算法原理层次的深度，目的在于从宏观上帮助理解这几个模型融合方法
  

1 Voting

从最简单的Voting说起，这可以说是一种最直观、简单的模型融合。假设对于一个二分类问题，有3个基础模型，那么就采取投票制的方法，投票多者确定为最终的分类🤔

2 Averaging

对于回归问题，一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。权值可以用排序的方法确定，举个例子，比如A、B、C三种基本模型，模型效果进行排名，假设排名分别是1，2，3，那么给这三个模型赋予的权值分别是3/6、2/6、1/6

这两种方法看似简单，其实后面的高级算法也可以说是基于此而产生的，Bagging或者Boosting都是一种把许多弱分类器这样融合成强分类器的思想😁

3 Bagging

Bagging就是采用有放回的方式进行抽样，用抽样的样本建立子模型,对子模型进行训练，这个过程重复多次，最后进行融合。大概分为这样两步：

• 重复K次，有放回地重复抽样建模，训练子模型

• 模型融合，分类问题：voting，回归问题：average
  随机森林就是基于Bagging算法的一个典型例子，采用的基分类器是决策树

4 Boosting

Bagging算法可以并行处理，而Boosting的思想是一种迭代的方法，每一次训练的时候都更加关心分类错误的样例，给这些分类错误的样例增加更大的权重，下一次迭代的目标就是能够更容易辨别出上一轮分类错误的样例。最终将这些弱分类器进行加权相加


同样地，基于Boosting思想的有AdaBoost、GBDT等

5 Stacking

• stacking是一种集成思想，很多集成算法都是它的变体。准确地来讲，stacking方法是用“学习”的方法来融合模型（对比一下加权融合、平均融合，这两种是用一个规则、一个公式来融合几个模型的预测结果），也就是把要融合的几个模型的预测结果，通过另外一个学习模型融合起来。这个用于融合的学习模型被称为元学习器（meta-learner），而几个单模型都是初级学习器
• Stacking本质上就是这么直接的思路，但是这样肯定是不行的，问题在于初级学习器的得到是有问题的，用整个训练集训练的模型反过来去预测训练集的标签，毫无疑问过拟合是非常非常严重的，因此现在的问题变成了如何在解决过拟合的前提下得到初级学习器，这就变成了熟悉的节奏——K折交叉验证

satcking融合的步骤：

step1：训练T个初级学习器，要使用交叉验证的方法在Train Set上面训练（因为第二阶段建立元学习器的数据是初级学习器输出的，如果初级学习器的泛化能力低下，元学习器也会过拟合）
step2：T个初级学习器在Train Set上输出的预测值，作为元学习器的训练数据D，有T个初级学习器，D中就有T个特征。D的label和训练初级学习器时的label一致
step3：T个初级学习器在Test Set上输出的预测值，作为训练元学习器时的测试集，同样也是有T个模型就有T个特征
step4：训练元学习器，元学习器训练集D的label和训练初级学习器时