周志华 《机器学习》之 第四章（决策树）概念总结

看完周老师的决策树章节，首先从内容安排上采用了循序渐进的方式引入介绍决策树这种分类算法。书中从基本流程、划分选择、剪枝处理、连续与缺失值、多变量决策树五个方面进行详细介绍。看完之后我们如何理解决策树呢？
1、决策树的概念：首先我们可以明确决策树同其他机器学习算法一样，是一种解决分类问题的算法。从名字上我们可以看出决策树是一颗树的存储结构，图显示的话，这个算法应该就是一颗数。在机器学习中，一颗决策树包含一个根结点、若干个内部结点和若干个叶结点；根结点和内部结点都对应于一个属性测试，叶结点则对应于决策结果；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列；因此，可以想象一次次划分之后由根延伸出了许多分支，形象的说就是一棵树。
从决策树的概念中可以分析出，如何在每个内部结点处，属性测试中如何选择最优划分属性成为了构建决策树的关键。
2、划分选择书中介绍三种方法，分别是信息增益、增益率、基尼指数 提到基本概念如下：
信息熵：是度量样本集合纯度最常用的一种指标。信息熵的值越小，则样本集合的纯度就越高。
信息增益：信息增益我们可以理解为在划分样本集前后引起的信息熵的差异，一般而言，信息增益越大，则意味着使用的划分属性对样本集进行划分获得的“纯度提升”越大。
增益率：http://blog.youkuaiyun.com/athenaer/article/details/8425479
基尼指数：
3、剪枝处理主要讲述预剪枝和后剪枝
剪枝处理是决策树学习算法对付“过拟合”的主要手段。在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因训练样本学得“太好”了，以致于把训练集自身的一些特点当做所有数据都具有的一般性质而导致过拟合。因此，可以通过主动去掉一些分支来降低过拟合的风险。
预剪枝：
后剪枝：
注：预剪枝基于“贪心”本质禁止这些分支展开，给预剪枝决策树带来了欠拟合的风险；后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树。但后剪枝过程是在生产完全决策树之后进行的，并且要自底向上的对树中的所有非叶结点进行逐一考察，因此其训练时间开销比未剪枝决策树和预剪枝决策树都要大很多。
4、连续与缺失值 本小结主要是对数据连续时以及缺失数据时的情况下如何处理构建决策树
连续属性离散化技术
遇到不完整样本，即样本的某些属性值缺失。引入

p

<script type="math/tex; mode=display" id="MathJax-Element-7">p</script>表示无缺失值样本所占比例。
5、多变量决策树

课后习题
http://blog.youkuaiyun.com/wzmsltw/article/details/51059394