10、集成学习：Bagging回归器与随机森林实战

集成学习：Bagging回归器与随机森林实战

1. Bagging回归器

Bagging回归器与Bagging分类器类似，它在原始训练集的随机子集上训练每个回归器模型，并对预测结果进行聚合。由于目标变量是数值型的，因此聚合过程是对迭代结果求平均值。下面我们将展示如何使用自助采样（bootstrap samples）实现Bagging回归器。

1.1 准备工作

首先，我们需要导入必要的库，并读取数据集。

from sklearn.ensemble import BaggingRegressor
from sklearn.tree import DecisionTreeRegressor
import pandas as pd

# 读取数据集
df_housingdata = pd.read_csv('bostonhousing.csv')
print('数据集维度：', df_housingdata.shape)

接下来，我们将创建特征集和目标变量集。

1.2 具体操作步骤

1. 分离特征和响应集，并划分训练集和测试集

from sklearn.model_selection import train_test_split

X = df_housingdata.iloc[:,1:14]
Y = df_housingdata.iloc[:,-1]
X_train, X_tes