1.简单平均
即各模型结果的均值
2.加权平均
各模型结果*权值再求和,其中权值通过交叉验证确定,权值之和为1
3.sigmoid平均
适合模型结果差异比较小的情况
4.bagging
从特征,参数,样本的多样性差异性来做多模型融合,参考随机森林
5.blending
首先将训练集分为两部分(D1和D2),一部分用于第一层(level 1)的训练,另一部分用于第二层(level 2)的训练。level1 在D1上训练了多个模型,将这些模型的预测结果作为level2的feature,在D2上训练第二层模型。
6.stacking
stacking在第一层模型中通过交叉验证的方式生成预测的label,作为第二层线性模型的输入特征(第一层有几个模型第二层就有几个特征),一般模型差异越大融合效果越好。实际中也可以将预测的几个label特征加入到原始特征中,然后用复杂模型再次训练。
blending和stacking的比较:
- blending是