17、决策树与集成学习：原理、方法与实践

决策树与集成学习：原理、方法与实践

1. 决策树的局限性

决策树具有简单易懂、易于使用、功能强大且用途广泛等优点，但也存在一些局限性。

1.1 对训练集旋转敏感

决策树倾向于正交决策边界，即所有分割都垂直于某个轴，这使得它对训练集的旋转非常敏感。例如，对于一个简单的线性可分数据集，旋转前决策树可以轻松分割，但旋转 45° 后，决策边界会变得不必要地复杂。尽管两种情况下决策树都能完美拟合训练集，但旋转后的模型泛化能力可能较差。可以使用主成分分析（PCA）来解决这个问题，它通常能使训练数据有更好的方向。

1.2 对训练数据微小变化敏感

决策树对训练数据的微小变化也很敏感。例如，从鸢尾花训练集中移除最宽的变色鸢尾样本（花瓣长 4.8 厘米、宽 1.8 厘米），再训练一个新的决策树，得到的模型可能与之前的模型有很大不同。由于 Scikit - Learn 使用的训练算法是随机的，即使在相同的训练数据上，也可能得到非常不同的模型（除非设置 random_state 超参数）。

随机森林可以通过对多棵树的预测进行平均来限制这种不稳定性。

1.3 决策树相关练习

以下是一些关于决策树的练习：
1. 在包含 100 万个实例的训练集上（无限制）训练的决策树的近似深度是多少？
2. 节点的基尼不纯度通常比其父节点的高还是低？是通常情况还是总是如此？
3. 如果决策树对训练集过拟合，尝试减小 max_depth 是个好主意吗？
4. 如果决策树对训练集欠拟合，尝试缩放输入特征是个好主意吗？