决策树（decision tree）

（注：主要是一些简单的概念，不涉及公式列举与推导。）

一、决策树学习算法

1、特征选择；2、决策树的生成；3、决策树的剪枝；

二、特征选择：

划分数据集的最大原则是：

     将无序的数据变得更加有序。而特征选择的准则是信息增益或者信息增益比。

信息增益：

      涉及到“香农熵”，简称“熵”的概念，在信息论与概率统计当中，熵是表示随机变量不确定性的度量。换句话说，就是表示信息的混乱程度，熵越大，信息就越混乱越无序，也可以说随机变量的不确定性也越大；熵越小，信息就越有序，随机变量的不确定性就越小，越容易确定。

      信息增益表示的是得知特征X的信息而使得类Y的信息的不确定性减少的程度。

信息增益比：

      信息增益来划分数据集的特征，存在偏向选取值较多的特征的问题。利用信息增益比可以对这一问题进行校正。

特征选择方法：

      对训练数据集D，计算其每个特征的信息增益，并比较大小，选取信息增益最大的特征。

三、决策树的生成

1、ID3算法

      利用信息增益来选择特征，并用递归来构建决策树。缺点是只有树的生成，生成的数容易产生过拟合。使用标称型数据，但是很难处理连续型数据。

2、C4.5算法

      与ID3不同在于，C4.5是利用信息增益比来选择特征。

（1）既肯能处理标称型数据，又能连续型数据。为了处理连续型数据，该算法在相应的节点使用一个属性的阈值，利用國值将样本划分成两部分。

（2）能处理缺失了一些属性的数据。该算法允许属性值缺失时被标记为?，属性值缺失的样本在计算熵增益时被忽略。

（3）构造完成后可以剪核。合并相邻的无法产生大量信息增益的叶节点，消除过渡匹配问题。

四、决策树的剪枝

决策树生成和剪枝的比较：

      决策树的生成只考虑了通过提高信息增益（或者信息增益比）来对数据进行更好地拟合，而决策树剪枝是通过极小化模型的损失函数（或者代价函数）来减小模型的复杂度。 决策时生成是学习局部的模型，而决策树剪枝是学习整体的模型。损失函数的极小化等价于正则化的极大似然估计。

五、CART算法

      分类与回归树（classification and regression tree，CART）模型是广泛应用的决策树学习算法。CART同样由特征选择、树的生成和剪枝组成，与决策树不同，它既可以用于分类，也可以用于回归。

CART算法相比ID3算法优势：

      ID3是每次选取当前最优的特征来分割数据，并按照该特征的所有可能值来切分。也就是说，如果一个特征有n个取值，那么数据按照该特征切分将切成n份。一旦按照该特征切分后，该特征在之后的算法中将不起作用，所以这种方法可能过于迅速或者说不合理。而且，ID3算法不能直接处理连续型特征。要利用ID3算法处理连续型特征，需要提前转换成离散型，但是这种转换可能会破坏连续型变量内在属性。

      CART算法利用的是二元切分法，及每次把数据切成两份，假设决策树是二叉树。如果数据的某个特征等于切分所要求的值，那么该数据就进入左子树，否则进入右子树。针对连续型数据，二元切分法也更易于调整和处理，只需要设定一个阈值，特征大于阈值进入左子树，小于进入右子树。

参考：

1、《机器学习实战》

2、《统计学习方法》