28、机器学习分类器：决策树与支持向量机详解

机器学习分类器：决策树与支持向量机详解

1. 算法透明度与公平性

在实际应用中，算法的透明度是指其决策过程能够被清晰展示。例如申请银行贷款被拒，银行能展示每一步的测试情况。但透明度并不等同于公平合理，银行可能采用对某些社会群体有偏见或基于无关标准的测试。立法者往往更倾向于强制执行透明度的法律，因为它易于证明，而公平性则难以衡量。透明度固然重要，但并不意味着系统的行为符合我们的期望。

2. 决策树的过拟合问题

决策树容易做出错误决策，主要原因是它特别容易过拟合。下面通过具体例子来分析决策树构建过程中的过拟合现象。

2.1 过拟合示例

以“双月数据集”为例，这是一种数据大致呈两个半月形状分布的数据集。构建决策树时，每一步可能涉及将一个叶子节点分裂为一个内部节点和两个叶子节点。树的大小通常用叶子节点的数量来衡量。

在构建决策树的过程中，最初的步骤会生成较大、较通用的区域，随着树的生长，区域会逐渐细化。当树足够大时，可能会出现过拟合的情况。例如，在一个需要 12 个叶子节点就能正确分类所有训练样本的决策树中，存在两个水平的细矩形，它们包围了弧线左侧顶部的两个橙色样本，尽管这些矩形几乎完全处于蓝色区域，但未来落入这些矩形的点仍会被分类为橙色，这就是过拟合的表现。

决策树对每个输入样本都非常敏感，几乎总是会出现过拟合，因为每个训练样本都会影响树的形状。当使用不同的随机 70% 输入数据运行相同的算法时，得到的决策树虽然相似但并不相同。当数据难以分离时，过拟合现象会更加明显。

下面是决策树构建过程的 mermaid 流程图：