16、决策树回归与集成学习：原理、应用与优化

决策树回归与集成学习：原理、应用与优化

1. 决策树回归

决策树不仅可以用于分类任务，还能执行回归任务。下面我们将使用Scikit - Learn的 DecisionTreeRegressor 类，在一个有噪声的二次数据集上构建回归树，设置 max_depth = 2 ：

from sklearn.tree import DecisionTreeRegressor
tree_reg = DecisionTreeRegressor(max_depth=2)
tree_reg.fit(X, y)

得到的回归树与之前构建的分类树非常相似，主要区别在于，分类树的每个节点预测一个类别，而回归树预测一个值。例如，对于一个新实例，假设 x1 = 0.6 ，从根节点开始遍历树，最终会到达一个预测值为 0.1106 的叶节点。这个预测值实际上是与该叶节点相关的110个训练实例的目标值的平均值，在这110个实例上，该预测的均方误差（MSE）为 0.0151 。

1.1 CART算法在回归中的应用

CART（分类与回归树）算法在回归任务中的工作方式与分类任务大致相同，但目标不同。在分类任务中，算法试图以最小化不纯度的方式划分训练集；而在回归任务中，它试图以最小化MSE的方式划分训练集。其成本函数如下：
[
J(k, t_k) = \frac{m_{left}}{m}MSE_{left} + \frac{m_{ri