6、数据科学中的误差评估与重采样方法

数据科学中的误差评估与重采样方法

在数据科学领域，对模型的评估至关重要，尤其是在进行二元决策时。误差评估和重采样方法是评估模型性能的重要手段，下面将详细介绍这些内容。

误差评估指标

误差评估指标用于衡量分类和假设检验等二元决策方法的性能。许多误差指标基于列联表，该表总结了决策结果。其中，四个基本误差（真阳性TP、假阴性FN、假阳性FP和真阴性TN）是推导一般误差指标函数形式的基础。

常见的误差指标定义大多较为简单，但归一化互信息和接收者操作特征曲线的定义和估计相对复杂。

然而，仅使用一个误差指标无法获取分类性能的所有信息。需要比较多个误差指标，才能对性能得出结论，这往往需要对结果进行讨论。

比较多个二元决策方法

在评估二元决策方法时，可能会遇到不同的问题。例如，当比较两个或更多二元决策方法时，会出现复杂的情况。

假设存在三种二元决策方法，应用于同一数据集，产生不同的误差。下面考虑两种比较场景：
- 场景一：方法1与方法2比较
- (p_{TP1} > p_{TP2})
- (p_{TN1} > p_{TN2})
- (p_{FN1} < p_{FN2})
- (p_{FP1} < p_{FP2})

这表明方法1的真实预测总是优于方法2，错误预测总是少于方法2。因此，无论使用哪种基本误差指标，或考虑它们的组合，方法1的性能都更好。

• 场景二：方法1与方法3比较
  • (p_{