小白日记：机器学习算法之决策树算法

决策树算法是一种基本的分类和回归算法，是一种基于监督机器学习算法，这里就需要解释一下什么是基于监督的，什么是非监督的，非常好理解，基于监督就是训练集里面包含样本特征属性，也包含每个样本的类别标签，也就是基于这些已经分好类的数据进行训练得出一种能够对大量的样本数据进行分类的模型，将预测数据输入该模型就可以得出类别；非监督就是只有样本的特征属性，不能根据单个样本得到该样本对应的类别标签，需要对这些训练集进行聚合，说白了，就是根据一些算法（k-means，k中心，层次等）将这些训练数据划分成簇（也就是一堆一堆的），每一个簇经过观察可以对其进行打上标签，预测数据的时候可以计算预测样本距离那个簇最近，就将其打上那个标签；

在了解决策树算法之前，首先需要了解两个概念：熵，信息增益；

熵：此处的熵书面意思就是，随机变量不确定性的度量。换成大白话就是根据这个我能不能得到对我判断结果有价值的信息，例如，勇士跟马刺打比赛，这俩球队实力相当（概率0.5,0.5），你还真不好确定那个对能赢，但是要是勇士跟森林狼打（0.8，0.2）的话，你肯定觉得勇士会赢，通过这两句话你肯定确定第二句话更能够让我们预测出正确的结果，也就是更有意义，熵就是来度量这个的。算法再白话也需要用公式表示：

设X是一个取有限个值的离散的随机变量，其概率分布为

则随机变量X的熵就可以通过下面公式进行计算：

显而易见，当i=1,2,3,4,…n-1都为0的时候，表示X=xi一定会发生此时可以得到熵为0.同理，当i=1,2,…，n的的概率都相等的情况下，熵最大（可以自己证明），从而可以打出熵越大，根据该特征对样本就行分类是最没有价值，越小越有价值；

信息增益：谈信息增益，首先需要了解一下条件概率和条件熵，何为条件概率，这里简单介绍一下，某一个样本包含多个特征值，这里为了方便解释就取x和y两个特征吧，条件概率就是在x放生的情况下，y也发生，从而判定该样本为某个列别的概率，用数学描述就是：x，y同时发生的概率除以y发生的概率。条件熵表示的是在随机变量Y的条件下随机变量Y的不确定性，随机变量X给定的条件下随机变量Y的条件熵H(X|Y)，定义为y给定条件下Y的条件概率分布的熵对X的数学期望：

当熵和条件熵中的概率由数据估计得到时，所对应的熵和条件熵分别是经验熵和经验条件熵，信息增益表示的是在已经确定特征Y的信息之后，确定该样本属于某个列别的不确定性的减少程度。

基于上面讨论的一些知识，现在还是具体的介绍一下决策树，顾名思义，决策树模型呈现树形结构，在分类的问题中，表示的是基于特征对实例进行分类的过程，可以认为是if-then规则的模型，也可以认为是已定义在特征空间与类空间上条件概率分布。

决策树模型是一种描述对实例进行分类的属性结构，决策树由节点和有向变组成，节点主要分为内部节点和叶节点，内部节点表示的是某个特征，该特征是离散的话，那么该节点下最多就会产生该特征值对于的个数个子树，如果是连续的，那么下面的分支就是根据范围划分的子树，也子节点表示的是一个类。应跟节点分类就是从根节点开始，对样本的每一个特征进行计算（信息增益或者信息增益比），根据计算结果，确定内部节点，并将实例根据特征的具体值或者范围分配到其子节点，这是每一个叶子节点就是对应着该特征的一个取值，如此递归的对样本进行计算分配，直到叶子节点，最后将实例分到叶子节点的类中，如图所示：椭圆表示内部节点（即选择的特征）

决策树学习的本质是从训练的样本集中归纳出一组分类规则，该分类规则能够对训练数据进行正确分类的决策树，该规则可能有多个，也可能不存在，所以需要构建一个与训练样本数据集矛盾较小的决策树，同时具有很好的泛化能力（除了该训练集之外，还可以对其他样本进行分类）。

通常包括3个步骤：特征选择，决策树生成，决策树修剪

特征选择：在生成决策树的时候，不是随便挑选一个特征就可以进行分类的，需要根据上面介绍的方法，根据计算整个样本集的经验熵，选择的特征的条件熵，以及信息增益来确定决策树的节点特征；

（未完待续）