机器学习分类器---决策树

一、决策树

经常使用决策树来处理分类问题，决策树也是最经常使用的数据挖掘算法，不需要了解机器学习的知识，就能搞明白决策树是如何工作的。
kNN算法可以完成很多分类任务，但它最大的缺点就是无法给出数据的内在含义，决策树的主要优势在于数据形式非常容易理解
决策树能够读取数据集合，其一个重要任务是为了数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，在这些机器根据数据集创建规则时，就是机器学习的过程。

二、决策树的构造
1、决策树优缺点比较：

• 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据
• 缺点：可能会产生过度匹配问题
• 适用数据类型：数值型和标称型

2、在构造决策树时，需要解决的第一个问题是当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性特征，需要进行特征评估。如果某个分支下的数据属于同一类型，则已正确地划分数据分类，无需进一步对数据集进行分割。如果数据子集内的数据不属于同一类型，则需要重复划分数据子集的过程。

3、信息增益

1. 划分数据集的大原则：将无序的数据变得更加有序。有多种划分数据集的方法，但每种方法都有各自的优缺点。
2. 划分数据集之前之后信息发生的变化称为信息增益，计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。

三、重点

1. 构建决策树时，通常采用递归的方法将数据集转化为决策树。一般不构造新的数据结构，而是使用python语言内嵌的数据结构字典存储树节点信息。
2. 为了便于直观理解，使用Matplotlib的注解功能，将存储的树结构转化为易于理解的图形