10、集成学习：Bagging与随机森林的应用与实现

集成学习：Bagging与随机森林的应用与实现

1. Bagging回归器

Bagging回归器与Bagging分类器类似，它在原始训练集的随机子集上训练每个回归器模型，并对预测结果进行聚合。由于目标变量是数值型的，因此聚合过程是对迭代结果求平均值。下面将展示如何使用自助采样法实现Bagging回归器。

1.1 准备工作

首先，我们需要导入必要的库，包括 BaggingRegressor 和 DecisionTreeRegressor ：

from sklearn.ensemble import BaggingRegressor
from sklearn.tree import DecisionTreeRegressor
import pandas as pd
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 读取数据集
df_housingdata = pd.read_csv('bostonhousing.csv')
print('数据集维度：', df_housingdata.shape)

1.2 具体实现步骤

1. 分离特征和响应集，并划分训练集和测试集 ：

X = df_housingdata.iloc[:,1:14]