本文通过鸢尾花数据集详细介绍了Stacking和Blending两种模型融合技术。在Stacking中，使用xgboost、gbdt、rf作为第一层模型，LR作为第二层模型，通过5折交叉验证进行训练和预测。Blending则采用了保留方法，将数据集分为训练集和holdout集，同样利用xgboost、gbdt、rf进行预测，并用LR进行融合。文章解答了关于Blending过程中训练集大小和模型训练流程的疑问。
1、Stacking
做一个分类模型，先确定输入、输出、处理。
输入：
训练集：鸢尾花数据集(150行，4个属性，1列标签，标签为1、2、3)
测试集：假设有20行测试集（与150行无关，无真实值标签，4个属性）
输出：预测的标签
处理：
(1)数据集的处理：5折交叉验证，每折30行
（2）模型选择：第一层模型选择xgboost、gbdt、rf；第二层模型选择LR
（3）stacking：
首先，第一层：
xgboost对tr2 tr3 tr4 tr5训练，对tr1测试，得到一个1列30行的标签pred1 （然后）tr1、tr2、tr3、tr4、tr5同时进行训练，对test测试，得到一个1列20行的标签test_pred1
xgboost对tr1 tr3 tr4 tr5训练，对tr2测试，得到一个1列30行的标签pred2（然后）tr1、tr2、tr3、tr4、tr5同时进行训练，对test测试，得到一个1列20行的标签test_pred2
xgboost对tr1 tr2 tr4 tr5训练，对tr3测
最低0.47元/天 解锁文章
扫一扫
888
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
