袋外评估 (OOB) 和随机森林中的 OOB 分数或误差

随机森林中的袋外评估：详细解释

这段文字详细解释了随机森林中的袋外评估（Out-of-Bag Evaluation）方法。

核心概念：

• 随机森林是一种集成学习方法，它通过构建多个决策树来进行预测。
• 在构建每个决策树时，随机森林会进行两种采样：
• 行采样（Row Sampling）：从原始数据集中随机抽取样本，并允许重复抽取。
• 特征采样（Feature Sampling）：从所有特征中随机抽取一部分特征。
• 由于行采样允许重复，因此一些样本可能在某些决策树中被多次选取，而另一些样本则可能完全不被选取。这些未被选取的样本被称为“袋外样本”（Out-of-Bag Samples）。

袋外评估的原理：

• 袋外样本可以用来评估随机森林的性能，因为它代表了模型从未见过的数据。
• 通过在袋外样本上训练和测试模型，我们可以得到一个对模型泛化能力的无偏估计。

具体流程：

1. 数据准备： 拥有一个包含D个样本和M个特征的数据集。
2. 构建决策树： 构建多个决策树，每个决策树使用不同的行采样和特征采样结果。
3. 识别袋外样本： 对于每个决策树，识别出未被选取的样本，即袋外样本。
4. 袋外预测： 使用每个决策树的袋外样本进行预测。
5. 计算袋外误差： 将所有决策树的袋外预测结果进行平均，并计算袋外误差。

优势：

• 无需额外的数据集进行交叉验证。
• 可以提供对模型泛化能力的无偏估计。

总结：

袋外评估是一种在随机森林中评估模型性能的有效方法。它利用未被选取的样本进行测试，可以获得对模型泛化能力的可靠估计。

袋外误差（OOB），也称为袋外估计，是一种用于测量随机森林、提升决策树和其他利用自助聚合（bagging）的机器学习模型的预测误差的方法。Bagging 使用带替换的子采样来创建模型学习的训练样本。OOB 误差是每个训练样本 xi 上的平均预测误差，仅使用其自助样本中没有 xi 的树。