“机器学习实战”刻意练习——分类问题：决策树

最新推荐文章于 2022-11-18 09:50:55 发布

nanashi_F

最新推荐文章于 2022-11-18 09:50:55 发布

阅读量810

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习 python 决策树

本文链接：https://blog.youkuaiyun.com/nanashi_F/article/details/103035620

参考：
Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起 - Jack-Cui - 优快云博客
 Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜 - Jack-Cui - 优快云博客

一、概述

你是否玩过二十个问题的游戏，游戏的规则很简单：参与游戏的一方在脑海里想某个事物，其他参与者向他提问题，只允许提20个问题，问题的答案也只能用对或错回答。问问题的人通过推断分解，逐步缩小待猜测事物的范围。
决策树的工作原理与20个问题类似，用户输入一系列数据，然后给出游戏的答案。

我们经常使用决策树处理分类问题，近来的调查表明决策树也是最经常使用的数据挖掘算法。它之所以如此流行，一个很重要的原因就是不需要了解机器学习的知识，就能搞明白决策树是如何工作的。

如果你以前没有接触过决策树，完全不用担心，它的概念非常简单。即使不知道它也可以通过简单的图形了解其工作原理。
下图所示的流程图就是一个决策树：
长方形代表判断模块（decision block）
椭圆形代表终止模块（terminating block），表示已经得出结论，可以终止运行。
从判断模块引出的左右箭头称作分支（branch），它可以到达另一个判断模块或者终止模块。

下图构造了一个假想的邮件分类系统，它首先检测发送邮件域名地址。
如果地址为myEmployer.com，则将其放在分类“无聊时需要阅读的邮件”中。
如果邮件不是来自这个域名，则检查邮件内容里是否包含单词曲棍球，如果包含则将邮件归类到“需要及时处理的朋友邮件”，如果不包含则将邮件归类到“无需阅读的垃圾邮件”。
在这里插入图片描述
之前的k-近邻算法可以完成很多分类任务，但是它最大的缺点就是无法给出数据的内在含义，决策树的主要优势就在于数据形式非常容易理解。
决策树算法能够读取数据集合，构建类似于上图的决策树。

决策树的一个重要任务是为了数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，在这些机器根据数据集创建规则时，就是机器学习的过程。

优点和缺点：

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配问题。

适用数据类型：

数值型
标称型

决策树的一般流程：

收集数据：可以使用任何方法。
准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。
分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
训练算法：构造树的数据结构。
测试算法：使用经验树计算错误率。
使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。

二、代码实现（python3）

1.决策树的构造

在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。

为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。
完成测试之后，原始数据集就被划分为几个数据子集。这些数据子集会分布在第一个决策点的所有分支上。如果某个分支下的数据属于同一类型，则当前无需阅读的垃圾邮件已经正确地划分数据分类，无需进一步对数据集进行分割。如果数据子集内的数据不属于同一类型，则需要重复划分数据子集的过程。

如何划分数据子集的算法和划分原始数据集的方法相同，直到所有具有相同类型的数据均在一个数据子集内。

一些决策树算法采用二分法划分数据，《机器学习实战》并不采用这种方法。
如果依据某个属性划分数据将会产生4个可能的值，我们将把数据划分成四块，并创建四个不同的分支。
《机器学习实战》使用ID3算法划分数据集，每次划分数据集时我们只选取一个特征属性，如果训练集中存在20个特征，第一次我们选择哪个特征作为划分的参考属性呢？
在回答这个问题之前，我们必须采用量化的方法判断如何划分数据。

信息增益

划分数据集的大原则是：将无序的数据变得更加有序。
我们可以使用多种方法划分数据集，但是每种方法都有各自的优缺点。组织杂乱无章数据的一种方法就是使用信息论度量信息。
在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。
集合信息的度量方式称为香农熵或者简称为熵，这个名字来源于信息论之父克劳德·香农。

熵定义为信息的期望值，在明晰这个概念之前，我们必须知道信息的定义。如果待分类的事务可能划分在多个分类之中，则符号xi的信息定义为
$l(x_{i})=-log_{2}P(x_{i})$
其中, $P(x_{i})$ 为选择该分类的概率。

为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值，通过下面的公式得到：
$H=-\sum_{i=1}^{n}P(x_{i})log_{2}P(x_{i})$
其中，n为分类的数目。

from math import log

def createDataSet():
    """
    示例DataSet
    - - - -
    """
    dataSet = [[1, 1, 'yes'],[1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']