哈工大机器学习Week2知识点总结

最新推荐文章于 2022-10-13 20:56:15 发布

原创

最新推荐文章于 2022-10-13 20:56:15 发布 · 424 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

决策树（cont）

互信息与决策树

由随机变量 $X$ 与 $Y$ 之间互信息的计算公式： $I (X; Y) = H (X) - H (X ∣ Y)$ 表示随机变量Y含有X的多少信息。

若 $H (X ∣ Y)$ 较小，则说明给定 $Y$ 时 $X$ 的信息量减少。
- 在决策树中 $Y$ 表示某一特定的属性。 $Y = y_i$ 表示该属性的取值为 $y_i$ 。
- 反应在决策树中表现为由随机变量属性 $Y$ 的取值划分 $X$ ，得到的样本的纯度提升，即信息量减少。这正是我们的目标。
于是在划分阶段，每次只需要选择 $H (X ∣ Y)$ 较小的即I(X;Y)较大的对应的属性。在决策树中，使用样本的频率代替概率即可（称为样本熵）即用样本的类别频率近似随机变量 $X$ 的概率分布，用该特定属性每个取值的样本姘居近似随机变量 $Y$ 的概率分布。

熵的计算例子

在这里插入图片描述

信息增益

由第一部分的分析，如果选择属性 $A$ 进行切分（即 $Y$ 的分布对应于属性A的每一取值的频率,属性A的取值一共有k个），信息增益的计算公式为: $Gain_{A} = Entropy(p) - \sum_{i = 1}^{k}\frac{n_i}{n}Entropy(i)$
其中 $E n t r o p y (p)$ 表示所有样本的熵， $E n t r o p y (i)$ 表示划分后第 $i$ 个属性取值下所有样本的熵。

缺点：倾向于选择切分分支较多的属性。
计算实例：

停止准则

当一个结点上所有样本属于同一个类别，停止扩展
当一个结点上所有样本具有相似的属性值，停止扩展
提早结束

问题

欠拟合（underfitting）和过拟合（Overfitting）（结点数过多）
- 防止Overfitting的准则
- Given two models of similar generalization errors, one
  should prefer the simpler model over the more complex
  model
- For complex models, there is a greater chance that it was
  fitted accidentally by errors in data