机器学习算法--决策树与随机森林

决策树的算法比较简单
主要分为以下部分：
一、决策树基本概率以及计算（ID3）
1、决策树定义
决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型。比如我们会问‘今天出去玩吗’，那么室外的温度，天气都会影响我们做决策的过程，如果‘温度适中’，我们就再看‘天气如何’。
决策树学习的目地：产生一颗泛化能力强，处理未见示例强的决策树
2、决策树优缺点
决策树学习的优点：速度快，准确率高，对中间缺失值不敏感
决策树学习的缺点：对于各类别样本数量不一致的数据, 信息增益偏向于那些更多数值的特征，容易过拟合，忽略属性之间的相关性

3、需要掌握熵和信息增益两个概念和计算公式
熵：对样本集合纯度的一种度量，k指的是样本类别个数

以表4.1为例：样本类别个数为2，即好瓜和坏瓜，好瓜8个概率为8/17，坏瓜9个概率为9/17。
那么可以计算根节点的熵为H=Ent(D)：

信息增益：
1、假定离散属性a有V个取值{a¹，…a^V}， 比如表4.1中，第一个属性色泽有3个取值，分别是青绿、乌黑、浅白，v=3。
2、若使用a色泽对样本集D进行划分，会产生V（3）个分支，其中第v个包含了D中在a属性上取值为a^v的所有样本，记为D^v。比如D¹（色泽=青绿），D²（色泽=乌黑），D³（色泽=浅白）
3、再根据不同分支结点包含的样本数不同来给与权重：|D^v|/|D|，比如属性（色泽）=6/17
信息增益公式：

以色泽为例，计算3个分支的信息熵：

计算（属性=色泽）的信息增益：

类似地：我们计算其他属性的信息增益：

Gain（D，根蒂）=0.143
Gain（Dÿ