决策树手推建立

一、决策树

决策树是什么？决策树(decision tree)是一种基本的分类与回归方法。举个通俗易懂的例子，如下图所示的流程图就是一个决策树，长方形代表判断模块(decision block)，椭圆形成代表终止模块(terminating block)，表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作为分支(branch)，它可以达到另一个判断模块或者终止模块。我们还可以这样理解，分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种类型：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。蒙圈没？？如下图所示的决策树，长方形和椭圆形都是结点。长方形的结点属于内部结点，椭圆形的结点属于叶结点，从结点引出的左右箭头就是有向边。而最上面的结点就是决策树的根结点(root node)。

二、手推决策树建立过程–西瓜书

数据集使用周志华《机器学习》（西瓜书)中的西瓜数据集2.0，采用信息增益Gain(D,属性)作为划分指标，展示一个完整的建立决策树的过程。
关于决策树系列文章，优快云的 天泽28 大佬已经写的非常清晰了；但是美中不足，大佬写博客的时间较早，所以所有推理过程颜色单一，公式排布密密麻麻，不是太容易接受，所以上传这个手推过程作为补充，希望对大家有帮助。
注：因为最开始接触机器学习的资料是英文的，做的笔记也是英文的（都是很基础的英文词汇，并没有生僻词)；为了笔记的连贯性，所以这里也采用英文笔记

参考链接：
https://cuijiahua.com/blog/2017/11/ml_2_decision_tree_1.html
https://blog.youkuaiyun.com/qq_46110834/article/details/110245119