20、决策树回归与集成学习

决策树回归与集成学习

1. 决策树回归

1.1 构建回归树

决策树不仅能用于分类任务，还能执行回归任务。我们可以使用Scikit - Learn的 DecisionTreeRegressor 类来构建一个回归树，在一个有噪声的二次数据集上进行训练，设置 max_depth = 2 ：

import numpy as np
from sklearn.tree import DecisionTreeRegressor

np.random.seed(42)
X_quad = np.random.rand(200, 1) - 0.5  # 单个随机输入特征
y_quad = X_quad ** 2 + 0.025 * np.random.randn(200, 1)
tree_reg = DecisionTreeRegressor(max_depth=2, random_state=42)
tree_reg.fit(X_quad, y_quad)

得到的回归树与之前构建的分类树很相似，主要区别在于，分类树在每个节点预测一个类别，而回归树预测一个值。例如，对于一个新实例 x1 = 0.2 进行预测，根节点会询问 x1 ≤ 0.197 是否成立，由于不成立，算法会转到右子节点，该节点会询问 x1 ≤ 0.772 是否成立，由于成立，算法会转到左子节点。这是一个叶节点，它预测的值为 0.111 ，这个预测值是与该叶