学习笔记 | 机器学习 决策树

通过这篇博客，您将收获如下知识：

• 熟悉决策树相关的基础知识：自信息、信息熵与条件熵，信息增益和增益率，Gini 值和 Gini 指数。
• 熟悉决策树算法的关键原理，模型、策略与优化算法。
• 了解决策树中过拟合问题和剪枝处理，以及 sklearn 中决策树模型中剪枝相关的参数说明。
• 了解决策树连续值和缺失值的处理思路
• 了解决策树算法的优缺点

---

一、算法原理

决策树（Decision Tree） 是一种重要的有监督的机器学习方法。决策树有时候是指学习方法，有时是指学得的树，核心是为了模拟人类决策过程。以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例（模型训练的时候没有见过）进行分类，这个把样本分类的任务，可看作对 “当前样本属于正类吗？” 这个问题的 “决策” 或 “判定” 过程。

• 从逻辑角度，一系列 if-then 规则的集合；
• 从几何角度，根据某种准则划分特征空间；
• 最终目标，从特殊到一般的归纳，将样本越分越纯。

决策树是一种预测模型，代表的是对象属性与