53、机器学习中的树结构构建与过拟合控制

机器学习中的树结构构建与过拟合控制

1. 机器学习中的树结构

在机器学习领域，存在多种树结构构建方法。例如，决策树通过对属性值或属性值范围进行划分来构建结构。对于连续值，其构建过程与构建 kd - 树非常相似，具体步骤如下：
1. 选择维度 ：确定按照哪个维度对数据进行划分。
2. 确定分割点 ：在选定的维度上找到合适的分割点。
3. 分割数据 ：根据分割点将数据分割成两部分。

不过，并非所有这类树都适用于分支限界法，因为推导其下界并非易事。

kd - 树和其他学习结构的关键在于，在训练阶段多花时间构建易于搜索的结构，能在预测阶段节省时间。本文旨在探索这些见解在概率环境下的应用，同时研究这些方法在概率环境下的适用性以及适用条件。

2. 最近邻方法的缺点

即使不使用 kd - 树，最近邻（NN）方法也存在诸多缺点：
|缺点|具体描述|
|----|----|
|不能有效泛化|NN 方法难以从训练示例中泛化出分类器。如果训练集中有与输入查询非常接近的示例，该方法可能会过拟合数据；而如果没有接近的示例或在查询附近有多个训练示例，NN 方法则无法进行有效预测。|
|对异常值敏感|单个最近的训练示例可能是异常值，但 k 近邻可能会给出不同的输出，从而平滑掉异常值的影响。然而，确定合适的 k 值非常困难，理想情况下，k 值应根据每个预测进行调整。|
|维度权重问题|最近邻方法的标准距离度量对每个输入维度赋予相同的权重，这可能会夸大一些不重要维度的重要性。局部