回归树分类器

如果要选择在很大范围的情形下性能都好的、同时不需要应用开发者付出很多的努力并且易于被终端用户理解的分类技术的话，那么Brieman, Friedman, Olshen和Stone（1984）提出的分类树方法是一个强有力的竞争者。

1 分类树

在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

2 递归划分

让我们用变量Y表示因变量（分类变量），用X₁, X₂, X₃,...,X_p表示自变量。通过递归的方式把关于变量X的p维空间划分为不重叠的矩形。首先，一个自变量被选择，比如X_i和X_i的一个值x_i，比方说选择x_i把p维空间为两部分：一部分是p维的超矩形，其中包含的点都满足X_i<=x_i，另一个p维的超矩形包含的所有点满足X_i>x_i。接着，这两部分中的一个部分通过选择一个变量和该变量的划分值以相似的方式被划分。这导致了三个矩形区域。随着这个过程的持续，我们得到的矩形越来越小。这个想法是把整个X空间划分为矩形，其中的每个小矩形都尽可能是同构的或“纯”的。“纯”的意思是（矩形）所包含的点都属于同一类。我们认为包含的点都只属于一个类（当然，这并不总是可能的，因为经常存在一些属于不同类的点，但这些点的自变量有完全相同的值）。