决策树与随机森林学习笔记（一）：原理

决策树是一种监督学习算法。它适用于类别和连续输入（特征）和输出（预测）变量。

文章整体框架

1、基本概念

决策树是一个类似于流程图的树结构：其中每一个内部节点表示在一个属性上的测试，每个分支代表一个属性输出，
而每个树叶结点代表类或类分布。树的最顶层是根结点。
分支：决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数，记为分支。
其既能做分类又能做回归的。
结构示意图如下：

决策树分为两个阶段：

2、基本原理

注：需要了解的几个概念
（1） 熵定义：其和化学里面的概念是相同的，指物体内部的混乱程度。混乱程度（纯度）低则熵值小，反之！
（2）熵值与Gini系数之间的关系：

上式中将-lnx通过泰勒式展开得到1-x得到：

2.1、算法原理（信息增益）
一个决策树上的节点或者是根节点，都是通过计算机运算出来得结果，如下图所示。

构造决策树得原则：
构造树的基本想法是随着树的深度的增加，节点的熵迅速地降低。熵降低的速度越快越好，这样就可以保证决策树的高度最矮。
注：决策树适合的高度将降低数据的中的噪音点分类错误。即分支过多可能会导致过拟合。

通过一个例子来理解下原理，下面是一个天气、温度、湿度、风力与决定是否打球的数据。

根据不同的特征，可以设计出不同的根节点的决策树，如下图所示，

但是究竟以哪个根节点是合理的呢？
应该对没有属性的情况下的熵值，故只考虑在没有给定任何天气信息时，根据打球的数据，可知新的一天去打球的概率时9/14，不打球的概率是5/14。故可得数据自身的熵值为：

然后对后选的划分节点进行求熵值的操作。

信息熵等于概率值乘以熵值

信息增益等于系统的熵值减去节点的熵值，信息增益越大证明数据的纯度增加。因此要选取信息增益最大的点为根节点
因此可以通过递归的方式构造跟节点以下的其他节点。

2.2、缺点：
如果样本特征中存在一个特征，其与结果没有关系的话，将有可能导致信息增益变大，从而影响到决策树的根节点的选取。
于是引入了新的概念：信息增益率。信息增益率等于求得的信息增益除以自身的熵值。
2.3、评价函数

通过评价函数可以评价出当前决策树的性能。

Nt是指的是叶子节点的熵值或者gini系数。H(t)指的是样本的权种值

2.4、算法提升：

针对ID3算法的不足，提出了C4.5（信息增益率），CART（Gini系数）的方法

问题1：任何处理连续变量的属性。

问题2：解决过拟合方法之剪枝

评价函数：

叶子节点的个数。

3、随机森林

注：（1）训练随机森林的数据是有放回的采样，即数据可以一直被使用。
（2）随机森林：随机的意义：1、数据样本的选取的随机性（建立决策树使用的数据的个数和数据都是随机的）。
2、数据特征选取的随机性

从样本集中进行有放回的采样，通过样本的随机选取的特征上，对样本建立决策树(ID3、C4.5、CART、SVM、Logistic回归等)
重复上面两步m次，产生m个决策树，故搭构成了随机森林。之后将待预测数据放到随机森林，最后统计出随机森林中的决策树结果，采取少数服从多数的原则决定待预测数据属于那一类 。如下图所示！


当数据集很大的时候，我们随机选取数据集的一部分，生成一棵树，重复上述过程，我们可以生成一堆形态各异的树，这些树放在一起就叫森林。
选取过程：
取某些特征的所有行作为每一个树的输入数据。
然后把测试数据带入到每一个数中计算结果，少数服从多数，即可求出最终分类。