统计学习方法笔记5—决策树

第五章 决策树

5.1决策树模型与学习

5.1.1决策树模型

分类决策树模型由结点和有向边组成，结点分为内部结点和叶节点，内部结点表示特征或属性，叶节点表示一个类。
决策树的分类过程：从根节点，对实例某一特征进行测试，根据测试结果将实例分配到子节点。

5.1.2 决策树与if-then规则

if-then规则：由根节点到叶节点的每条路径构建一条规则：内部结点表示条件，叶节点表示结论，且每个实例都被一条规则覆盖，而且只被一条规则所覆盖。

5.1.3决策树与条件概率分布

给定先验概率（对特征空间的划分），用后验概率来表示决策树。

5.1.4决策树学习

决策树学习的关键：特征选择，决策树的生成和决策树的剪枝。
特征选择：选择最优特征对训练数据集进行划分，使得子集能够被基本正确分类，构建叶节点。
决策树的生成：数据子集被正确分类，构建叶节点，未被正确分类，选择最优特征继续分类，直到所有数据集基本被正确分类为止，生成决策树。
决策树剪枝：决策树深度过大，出现过拟合现象，剪枝简化模型。

5.2特征选择

5.2.1 特征选择问题

特征选择即选取对训练数据具有分类能力的特征。选择准则：信息增益和信息增益比。

5.2.2 信息增益

熵：表示随机变量不确定性的度量。

条件熵：

信息增益：得知特征X的信息而使得类Y的信息的不确定性减少的程度。


计算信息增益算法：

5.2.3 信息增益比

5.3 决策树的生成

ID3算法

利用信息增益准则选择特征来构建结点，递归的生成决策树。

ID3算法容易产生过拟合现象。

5.3.2 C4.5的生成算法

将ID3的信息增益换为信息增益比。

5.4决策树的剪枝

简化模型，解决过拟合问题：剪枝从已生成的树上裁剪掉一些子树或者叶节点，并将其根节点或父节点作为新的叶节点。
决策树损失函数的定义：（正则化，添加罚项）


剪枝算法：

5.5 CART算法

5.5.1 CART生成

1.回归树的生成
略
2.分类树的生成
最优特征的选择：基尼指数
最优特征的决定：最优二值切分点
基尼指数：