stacking是继bagging\ boosting之后的第三种集成学习方法。而blending是simple version of stacking.
原理是
- 首先将dataset train_test_split
并且从training set里取出一部分作为validation set - 然后构建k个classifiers
- 由training set的数据训练classifiers,并且在val和test set上输出预测结果(为正)的概率,outcome 矩阵为(n, k)
- 把val上预测结果作为feature,用logistic regression得到n个输出结果
- 在test上同4