李航（统计学习方法第五章）

第五章 决策树

• 本章讨论用于分类的决策树。

• 可认定为if-then规则集合

• 决策树的学习过程

  • 特征选择
  • 决策树生成
  • 决策树修剪

• 优点

  • 模型具有可读性
  • 分类速度快

1. 决策树基本概念
2. ID3和C4.5介绍特征选择、决策树的生成以及决策树的修剪
3. CART算法

5.1 决策树模型与学习

5.1.1 决策树模型

• 定义：分类决策树是一种描述对实例进行分裂的树形结构，由节点和有向边组成。节点有两种类型：内部节点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。
• 决策树示意图：

5.1.2 决策树与if-then规则

• 每一个实例都被有且只有一条规则所覆盖

5.1.2 决策树与概率分布

5.1.3 决策树学习

• 算法过程

  • 构建根节点，将所有数据集都放在根节点
  • 选择一个最优特征，按这一特征将训练数据集分割成子集，使各个子集有一个在当前条件下的最好分类。
  • 若这些子集都已经基本正确分类，那么构建叶节点，并将子集分到所对应的叶节点。
  • 否则重新选取最优特征，继续分割。直至所有训练数据集基本正确分类。

• 易产生过拟合，需要剪枝。

5.2 特征选择

5.2.1 特征选择问题

• 特征选择在于选取对训练数据集具有分类能力的特征，通常特征选择的标准是信息增益或信息增益比。
• 特征选择是决定用哪个特征来划分特征空间。
• 确定选择的准则：直观上，如果一个特征具有更好的分类能力，使得各个子集在当前条件下有最好的分类，那么就选择这个特征。信息增益可以很好的表示这一直观准则。

5.2.2 信息增益

• 为了便于说明，先给出熵与条件熵的定义。
• 在信息论与概率统计中马，熵是表示随机变量不确定性的度量。

$$\begin{gathered} 设X是一个取有限个值的离散随机变量，其概率分布为： \\ P(X=x_i)=p_i,i=1,2,...,n \\ 则随机变量X的熵定义为：H(X)=-\sum _{i=1}^n{p}_i\log p_i \\ 若p_i=0,则定义0\log 0=0.通常式中对数以2为底或以e为底 \\ 这时熵的单位分别称作比特或纳特。因定义可知，熵只依赖于X的分布，因此将X的熵记作H(p)，即： \\ H(p)=-\sum _{i=1}^n{p}_i\log p_i \end{gathered}$$

• 熵越大，随机变量的不确定性就越大。
• 证：$0\le H(p)\le \log n$

证明：
$$\begin{gathered} \because 0\le p_i\le 1，\therefore \log p_i\le 0，\therefore H(p)\ge 0 \\ 又均匀分布时熵最大，取p_i=\frac{1}{n} \\ 得H(p)=\log n \\ \therefore 0\le H(p)\le \log n \end{gathered}$$

• 当随机变量只取两个值，如1，0时，即：

X分布为：
$$\begin{gathered} P(X=1)=p,P(x=0)=1-p,0\le p\le 1 \\ 熵为：H(p)=-p{\log }_{2}p-(1-p){\log }_2(1-p) \end{gathered}$$
此时熵与概率p的变化曲线如图所示：

当p=0或p=1时，熵等于0，随机变量完全没有不确定性。当p=0.5时，熵最大。

• 设有随机变量$(X,Y)$，其联合概率分布为

$$P(X=x_i,Y=$$