机器学习——决策树

定义：

决策树(Decision Tree,又称为判定树)算法是机器学习中常见的一类算法，是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型。每个决策点实现一个具有离散输出的测试函数，记为分支。决策树由结点和有向边组成。结点有两种类型: 内部结点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。

决策树的一般流程：

(1)收集数据：可以使用任何方法。
(2)准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。
(3)分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
(4)训练算法：构造树的数据结构。
(5)测试算法：使用经验树计算错误率。
(6)使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据
的内在含义。
例子：

相亲确实是一个决策的过程，比如女方对男方身高、学历、工作、家庭等特征与自己心里预期进行比较，比较的过程就是一个决策的过程，决策的结果就是女方愿不愿意与男方谈对象。

 信息增益

划分数据集的大原则是：将无序的数据变的更加有序。我们可以使用多种方法划分数据集，但是每种方法都有各自的优缺点。在众多划分方法中评测出最好的划分方式之前，我们必须学习如何计算信息增益。集合信息的度量方式称为香农熵或者简称为熵。

 熵定义为信息的期望值，在明晰这个概念之前，我们必须知道信息的定义。如果待分类的事务可能划分在多个分类之中，则符号xi的信息定义为

                                          ​​

其中p(xi)是选择该分类的概率。

       为了计算熵，我们需要计算所有类别所有可能包含的信息期望值，通过下面的公式得到：