机器学习-决策树

决策树：是一种基本的分类与回归方法。在分类问题中，表示基于特征对实例进行分类的过程。学习时利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。

决策树学习三个步骤：特征选择、决策树的生成和决策树的修剪。

决策树：由节点和有向边组成。

节点有两种类型：内部节点和叶节点。内部节点表示一个特征或者属性，叶节点表示一个类。

在决策树算法中，寻找最优决策树是一个NP完全（非多项式确定）问题。决策树的这一特点，说明我们无法利用计算机在多项式时间内，找出全局最优的解。也正因为如此，大多数决策树算法都采用启发式的算法，如贪心算法，来指导对假设空间的搜索。可以说，决策树最后的结果，是在每一步、每一个节点上做的局部最优选择。决策树得到的结果，是没法保证为全局最优的。

决策树的生成考虑的是局部最优，决策树的剪枝考虑的是全局最优。

熵：表示随机变量不确定性的度量，只依赖随机变量的分布，与取值无关，熵越大，不确定性越大。

条件熵：H(Y|X)定义为X给定条件下Y的条件概率分布的熵对X的数学期望。

信息增益：表示得知特征X的信息而使得类Y的信息的不确定性减少的程度，信息增益 = 经验熵 - 经验条件熵。

根据信息增益准则的特征选择方法是： 对训练数据集（或子集）D,计算其每个特征的信息增益，并比较他们的大小，选择信息增益最大的特征。

信息增益比：信息增益除以经验熵。

ID3算法：核心是在决策树各个节点上应用信息增益准则选择特征，递归的构建决策树。相当于用极大似然法进行概率模型的选择。

ID3算法只有树的生成，所以该算法生成的树容易产生过拟合。

C4.5:用信息增益比来选择头特征。

决策树剪枝：在决策树学习中将已经生成的树进行简化的过程称为剪枝。

决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现------在损失函数中加入了叶节点个数的惩罚项。

决策树生成学习局部的模型，而决策树的剪枝学习整体的模型。

分类与回归树CART（classification and regression treee）算法：是应用广泛的决策树学习方法。CART同样由特征选择，树的生成及剪枝组成，既可以用于分类也可以用于回归。

CART生成：决策树的生成就是递归地构建二叉树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则，进行特征选择生成二叉树。

基尼指数：表示集合的不确定性，基尼指数越大，不确定性越大。