初级算法班（3）—决策树

写在前面：由于连续报了几个班，加上实验室老师催着写专利，没有时间亲自打代码，就按照群里给的大纲从网上找了一些信息直接po出来，同样由于时间问题没有手打公式，仍然是图片，后期有时间会尽量把公式打出来并亲自实操下sklearn来优化该博客。

一. 信息论基础

1.熵

熵度量了事物的不确定性，越不确定的事物，它的熵就越大。假设随机变量X的可能取值有$x_1$,$x_2$ …$x_n$,对于每一个可能的取值$x_i$ ，其概率P(X=$x_i$) = $p_i$, (i=1,2,…,n) ,因此随机变量X的熵：

2.联合熵

将一维随机变量分布推广到多维随机变量分布，则其联合熵 (Joint entropy) 为：

1、熵只依赖于随机变量的分布,与随机变量取值无关，所以也可以将 X 的熵记作 H§。
2、令0log0=0(因为某个取值概率可能为0)。

3.条件熵

条件熵H(Y∣X) H(Y|X)H(Y∣X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y∣X) H(Y|X)H(Y∣X) 定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望：

条件熵 H(Y∣X) H(Y|X)H(Y∣X)相当于联合熵 H(X,Y)减去单独的熵 H(X)，即

4.信息增益

信息增益在决策树算法中是用来选择特征的指标，信息增益越大，则这个特征的选择性越好，在概率中定义为：待分类的集合的熵和选定某个特征的条件熵之差（这里只的是经验熵或经验条件熵，由于真正的熵并不知道，是根据样本计算出来的），公式如下：

5.基尼不纯度

从一个数据集中随机选取子项，度量其被错误的划分到其他组里的概率。简单理解就是 一个随机事件变成它的对立事件的概率。计算公式：（fi为某概率事件发生的概率）

一个随机事件Y ，P(Y=0) = 0.1 ,P(Y=1)=0.9
那么基尼不纯度就为P(Y=0)(1 - P(Y=0)) + P(Y=1)(1 - P(Y=1)) = 0.18
很明显 X比Y更混乱，因为两个都为0.5 很难判断哪个发生。而Y就确定得多，Y=0发生的概率很大。而基尼不纯度也就越小。
所以基尼不纯度也可以作为衡量系统混乱程度的标准

6.小结

左边的椭圆代表H(X),右边的椭圆代表H(Y),中间重合的部分就是我们的互信息或者信息增益I(X,Y), 左边的椭圆去掉重合部分就是H(X|Y),右边的椭圆去掉重合部分就是H(Y|X)。两个椭圆的并就是H(X,Y)。

二. 决策树的不同分类算法

1.ID3算法

ID3算法的核心是在决策树各个节点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根节点开始，对节点计算所有可能的特征的信息增益，选择信息增益最大的特征作为节点的特征，由该特征的不同取值建立子节点；再对子节点递归的调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。ID3相当于用极大似然估计法进行概率模型的选择。

输入：训练数据集D，特征集A，阈值；
输出：决策树T

• 若D中所有实例属于同一类$C_k$,则T为单节点树，并将$C_k$类作为该节点的类标记，返回T；
• 若A=∅ ，则T为单节点树，并将D中实例数最大的类作为该节点的类标记，返回T;
• 否则，按信息增益算法计算A中个特征对D的信息增益，选择信息增益最大的特征;
• 如果$A_g$的信息增益小于阈值，则置T为单节点树，并将D中实例数最大的类作为该节点的类标记，返回T；
• 否则，若$A_g$对的每一个可能值，依$A_g$ = $a_i$将D分割为若干非空子集$D_i$.将中实例数最大的类作为标记，构建子节点，由节点及其子节点构成树T，返回T；
• 对第i个子节点，以$D_i$为训练集，以$A_g$为特征集，递归地调用前面步骤，得到子树$T_i$,返回$T_i$

2.C4.5算法

C4.5算法与ID3算法相似，C4.5算法对ID3算法进行了改进，C4.5在生成的过程中，用信息增益比来选择特征。

输入：训练数据集D，特征集A，阈值；
输出：决策树T

• 若D中所有实例属于同一类$C_k$,则T为单节点树，并将$C_k$类作为该节点的类标记，返回T；
• 若A=∅ ，则T为单节点树，并将D中实例数最大的类作为该节点的类标记，返回T;
• 否则，按信息增益算法计算A中个特征对D的信息增益，选择信息增益比最大的特征$A_g$;
  如果$A_g$的信息增益小于阈值，则置T为单节点树，并将D中实例数最大的类作为该节点的类标记，返回T；
• 否则，若$A_g$对的每一个可能值，依$A_g$ = $a_i$将D分割为若干非空子集$D_i$.将中实例数最大的类作为标记，构建子节点，由节点及其子节点构成树T，返回T；
• 对第i个子节点，以$D_i$为训练集，以$A_g$为特征集，递归地调用前面步骤，得到子树$T_i$,返回$T_i$

3.CART算法

CART（Classification And Regression Tree），即可以用作分类也可以用作回归，相较于ID3算法和C4.5算法，CART算法的用途更加广泛。sklearn中的决策树就是使用CART算法构建的。
CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART构建决策树用的是二叉树结构，在每个叶节点上预测的是概率分布，也就是在输入给定的条件下输出的条件概率分布。

• 决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；
• 决策树剪枝：用验证集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准

CART决策树的生成就是递归的调用二叉树的过程。对回归树用平方误差最小化准则（mse）或绝对误差最小化准则（mae），对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

三. 回归树生成

决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二， 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维feature的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点）。一个回归树对应着输入空间（即特征空间）的一个划分以及在划分单元上的输出值。分类树中，我们采用信息论中的方法，通过计算选择最佳划分点。而在回归树中，采用的是启发式的方法。假如我们有n个特征，每个特征有$s_i$(i∈(1,n)) $s_i$(i∈(1,n))个取值，那我们遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征j的取值s，使得损失函数最小，这样就得到了一个划分点。

四. 决策树防止过拟合手段

剪枝处理(pruning)是决策树学习算法中对付“过拟合”的主要手段, 在决策树学习中， 为了尽可能正确分类训练样本， 节点划分过程不断重复， 有时候会造成决策树分支过多， 以至于将训练样本集自身特点当作泛化特点， 而导致过拟合。 因此可以采用剪枝处理来去掉一些分支来降低过拟合的风险。 剪枝的基本策略有预剪枝(prepruning)和后剪枝(postprunint).

• 预剪枝是指在决策树生成过程中， 在每个节点划分前先估计其划分后的泛化性能， 如果不能提升， 则停止划分， 将当前节点标记为叶结点。
• 后剪枝是指生成决策树以后，再自下而上对非叶结点进行考察， 若将此节点标记为叶结点可以带来泛化性能提升， 则修改之.

五. 模型评估

1.保持方法

在保持（Holdout）方法中，将被标记的原始数据划分成两个不想交的集合，分别称为训练集合检验集。在训练数据集上归纳分类模型，在检验集上评估模型的性能。训练集和检验集的划分比例通常根据分析家的判断（例如，50-50，或者2/3作为训练集、1/3作为检验集）。分类器的准确率根据模型在检验集上的准确率估计。

2. 随机二次抽样

可以多次重复保持方法来改进对分类器性能的估计，这种方法称作随机二次抽样（random subsampling）。随机二次抽样也会遇到一些与保持方法同样的问题，因为在训练阶段也没有利用尽可能多的数据。并且，由于它没有控制每个记录用于训练和检验的次数，因此，有些用于训练的记录使用的频率可能比其他记录高很多。

3.交叉验证

替代随机二次抽样的一种方法是交叉验证（cross-validation）。在该方法中，每个记录用于训练的次数相同，并且恰好检验一次。为了解释该方法，假设把数据分为相同大小的两个子集，首先，我们选择一个子集作训练集，而另一个作检验集，然后交换两个集合的角色，原先作训练集的现在做检验集，反之亦然，这种方法叫做二折交叉验证。总误差通过对两次运行的误差求和得到。在这个例子中，每个样本各作一次训练样本和检验样本。k折交叉验证是对该方法的推广，把数据分为大小相同的k份，在每次运行，选择其中一份作检验集，而其余的全作为训练集，该过程重复k次，使得每份数据都用于检验恰好一次。同样，总误差是所有k次运行的误差之和。

4.自助法

以上方法都是假定训练记录采用不放回抽样，因此，训练集合检验集都不包含重复记录。在自助（bootstrap）方法中，训练记录采用有放回抽样，即已经选作训练的记录将放回原来的记录集中，使得它等机率地被重新抽取。