【机器学习基础】CH2 - 监督学习(5)决策树

2.5 决策树

到目前为止，我们已经研究了线性或线性基模型及其核变量。 在本节中，我们将考虑一种不同的分类或回归方法，在这种方法中，分类器是分段常数函数。 这类方法中最简单的是决策树，它将输入空间 分层 或划分为简单的规则区域，并为每个区域分配一个 常数 预测。

决策树是一种非常自然的决策模型，由一类易于解释的机器学习模型组成，从这个意义上说，我们可以很容易地推断出模型是如何得到预测的。 使用决策树的回归和分类模型称为CART classification and regression trees，即分类和回归树

2.5.1 回归决策树

数学上，(有向)树是一个 有向无环图 directed acyclic graph (见图2.3)。树的基顶点 base vertex 称为根节点 root node.。终端顶点terminal vertices 称为终端节点 terminal nodes。所有其他顶点称为内部节点 internal nodes。连接结点的边称为分支 branches。

在决策树的基础上，我们如何建立一个能够做出预测的模型?让我们先从一维回归的角度来讨论这个问题。

假设我们想去估计一些 oracle 函数 $f^{\ast }:[0,1]\to \mathbb{R}$。最简单的决策树通过筛选一些 ${\theta }_0\in (0,1)$ 以及定义分段常函数：

我们应该如何选择 $a$ 和 $b$ ？一个简单的方法是将他们作为区域内 $f^{\ast }$ 的均值：

这是一个深度为1的决策树，因为只有两个节点连接到根节点。

我们也可以通过进一步分割来构建更深层次的决策树：

更一般地，一个基于回归器的决策树通过分割输入域 $\mathcal{X}$ 为 $\mathcal{J}$ 个不同的、无重叠的区域 R1,R2,...RJ\mathcal{R}_1,\mathcal{R}_2,...\mathcal{R}_JR1​,R