28、决策树与最近邻算法：原理、分析与实践

决策树与最近邻算法：原理、分析与实践

1. 决策树

1.1 决策树学习问题

决策树是一种常用的机器学习模型，但学习决策树在计算上具有挑战性。需要采用一些启发式的训练方法。

1.2 相关算法

许多用于学习决策树的算法被提出，例如：
- ID3 和 C4.5 ：由 Quinlan 在 1986 年提出。
- CART 算法 ：由 Breiman 等人在 1984 年提出。
- 随机森林 ：由 Breiman 在 2001 年引入。

1.3 决策树训练难度证明

Hyafil 和 Rivest 在 1976 年给出了训练决策树难度的证明。

1.4 练习题分析

1.4.1 练习题 1

• 问题 1 ：证明任何二进制分类器 $h : {0,1}^d \to {0,1}$ 都可以实现为高度至多为 $d + 1$ 的决策树，其内部节点形式为 $(x_i = 0?)$，其中 $i \in {1,…,d}$。
• 问题 2 ：得出在域 ${0,1}^d$ 上决策树类的 VC 维为 $2d$。

1.4.2 练习题 2（ID3 的次优性）

给定训练集 $X = {0,1}^3$，$Y = {0,1}$，包含样本 $((1,1,1),1)$、$((1,0,0),1)$