Stacking【集成学习】

原创

已于 2022-09-25 22:57:36 修改 · 1.6k 阅读

19 ·

CC 4.0 BY-SA版权

于 2022-09-25 20:57:25 首次发布

本文介绍了一种集成学习方法——Stacking，并通过Python代码演示如何使用该方法解决回归问题。利用Boston房价数据集，通过多模型预测组合提高预测准确性。

1.集成学习

在监督学习中，我们往往建立单一的模型来做预测。而集成学习就是通过组合多个模型(往往是weak learner 弱学习器) 以得到一个强模型(strong learner 强学习器)，以求得到更好的预测效果。

2.stacking

stacking属于集成学习的一种

训练集经过多个模型预测出结果，然后将他们的结果构建成新的数据集，过程如下

接着，只要用这个新数据集训练新的学习器就ok了，具体可以看示例

3.Python示例

以boston数据集为例，下面是stacking解决回归问题的示例

stacking可以看成两层模型的构建，请参考代码部分

from sklearn import datasets
from sklearn.model_selection import KFold
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import GradientBoostingRegressor as GBDT
from sklearn.ensemble import ExtraTreesRegressor as ET
from sklearn.ensemble import RandomForestRegressor as RF
from sklearn.ensemble import AdaBoostRegressor as ADA
from sklearn.metrics import r2_score
im