决策树问题汇总

---

1. 简述决策树原理？

        决策树是一种基本的分类与回归方法。它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

决策树是一种自上而下，对样本数据进行树形分类的过程，由节点和有向边组成。
节点分为内部节点和叶节点，每个内部节点表示一个特征或属性，叶节点表示类别，边代表划分的条件。
从顶部节点开始，所有样本聚在一起，经过根节点的划分，样本被分到不同的子节点中，再根据子节点的特征进一步划分，直至所有样本都被归到某个类别。

构建决策树 就是一个递归的选择内部节点，计算划分条件的边，最后到达叶子节点的过程。

---

• 模型： 分类决策树由结点和有向边组成，结点分为内部结点和叶结点。决策树的路径具有互斥且完备的性质。
• 策略： 决策树学习本质上是从训练数据集中归纳出一组分类规则。从所有可能的决策树中选取最优决策树是 NP 完全问题，所以现实中常采用启发式方法近似求解。
• 算法： 决策树学习算法包含特征选择、决策树的生成与决策树的剪枝过程。生成只考虑局部最优，剪枝则考虑全局最优。
• 特征选择（核心公式）：

  • 信息熵： 熵是衡量随机变量不确定性的度量。熵越大，随机变量的不确定性就越大。
    设：随机变量X的概率分布为：$P(X=x_i)=p_i,i=1,2,...,n$ ，则随机变量X的熵定义为: $$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$$当$p_i=\frac{1}{n}$时，随机变量的熵最大等于logn，故$0\le H(X)\le logn$.

  • 条件熵： 条件熵表示在已知随机变量X的条件下随机变量Y的不确定性。
    $$H(Y|X)=$$