17、树算法与集成学习实战

树算法与集成学习实战

1. 集成学习概述

在集成学习中，装袋回归（bagging regression）在某些情况下表现优于随机森林，其平均绝对误差和平均绝对百分比误差都更理想。而且，集成学习并不局限于树模型，还可以使用 KNN 算法构建集成回归器。

2. 梯度提升树调优

2.1 数据准备

以加利福尼亚住房数据集为例，使用梯度提升树进行分析。首先加载数据并将其拆分为训练集和测试集：

%matplotlib inline
from __future__ import division 
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing

cali_housing = fetch_california_housing()
X = cali_housing.data
y = cali_housing.target

bins = np.arange(6)
binned_y = np.digitize(y, bins)
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=binned_y)

2.2 调参步骤