本文总结了模型融合的多种方法，包括简单平均、加权平均、sigmoid平均、bagging、blending和stacking。加权平均通过交叉验证确定模型权重；sigmoid平均适用于结果差异较小的场景；bagging利用样本、特征和参数的多样性；blending通过两部分数据分别训练第一层和第二层模型；stacking利用交叉验证生成预测标签作为第二层模型的输入。blending与stacking的主要区别在于数据使用和模型数量。最后，提出通过特征构造和模型参数变化实现更有效的融合策略。
1.简单平均
即各模型结果的均值
2.加权平均
各模型结果*权值再求和，其中权值通过交叉验证确定，权值之和为1
3.sigmoid平均
适合模型结果差异比较小的情况
4.bagging
从特征，参数，样本的多样性差异性来做多模型融合，参考随机森林
5.blending
首先将训练集分为两部分（D1和D2），一部分用于第一层（level 1）的训练，另一部分用于第二层（level 2）的训练。level1 在D1上训练了多个模型，将这些模型的预测结果作为level2的feature，在D2上训练第二层模型。
6.stacking
stacking在第一层模型中通过交叉验证的方式生成预测的label，作为第二层线性模型的输入特征（第一层有几个模型第二层就有几个特征），一般模型差异越大融合效果越好。实际中也可以将预测的几个label特征加入到原始特征中，然后用复杂模型再次训练。
blending和stacking的比较：
- blending是
最低0.47元/天 解锁文章
扫一扫
1078
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
