IBM SPSS Modeler算法系列------C&R Tree算法介绍

C&R Tree全称是Classification and Regression Tree,即分类及回归树，它是由美国斯坦福大学和加州大学伯克利分校的Breiman等人于1984年提出的，从名称中不难理解，它包含了分类树和回归树，分类树用于目标变量是分类型的，回归树用于目标变量是连续型的。

该算法分割的核心技术取决于目标变量的类型，如果是分类变量，可以选择使用Gini或者是Twoing.如果是连续变量，会自动选择LSD(Least-squared deviation)。

C&R Tree的生长是二叉树， 前面我们讲过的C5.0和CHAID分别是以信息增益率和卡方为标准来选择最佳分组变量和分割点，今天我们讲的C&R Tree，如果目标变量是分类型，则以Gini系数来确认分割点，如果目标变量是数值型，则以方差来确认分割点。

我们先来讲目标变量是分类型的情况，我们称之为分类树：

在C&R Tree算法中，Gini系数反映的是目标变量组间差异程度，系数越小，组间差异越大。Gini系数计算公式如下：

G(t)=1-(t1/T)^2-(t2/T)^2-(t3/T)^2-(tn/T)^2

其中T为总记录数，t1,t2,t3,tn…..分别为输出变量每个类别的记录数

为了比较好理解这个公式，我们以分析结果来理解公式内容，如下图：

该决策树分析结果，是分析客户的流失为目标，影响的因素有小朋友个数（children),婚姻状态（Status)，年龄（age)等，我们先从根节点开始看。

根节点的G(t)=1-(562/1469) ^2-(907/1469)^2=0.472421883

左边节点G(t1)=1-(439/833) ^2-(394/833) ^2=0.49854083