21、评估预测性能：方法与实践

评估预测性能：方法与实践

在数据分析和预测建模中，评估预测器的性能是至关重要的。它能帮助我们了解预测器的准确性和可靠性，从而更好地应用于实际场景。本文将详细介绍评估预测器性能的方法，包括现有预测器和新预测器的评估，以及如何在Stata中进行操作，并通过实际案例进行说明。

1. 现有预测器的预测性能评估

当一个预测器构建完成后，我们自然会关心它的性能如何，即预测值 $\hat{Y}$ 与新样本中的真实值 $Y^*$ 的接近程度。为了全面评估预测器的性能，我们通常关注其平均性能，以反映在多个样本中的使用效果。

1.1 连续结果

对于连续结果，我们可以通过分析预测值与真实值的差值 $d_i = \hat{Y} i - Y_i$ 的分布来评估预测器的性能。常用的方法是查看上下百分位数，如10%和90%百分位数，这样我们就能知道80%的样本的预测值与真实值的差异在这个范围内。此外，计算平均平方距离或其平方根也是常见的做法，公式如下：
- 平均平方距离：$\frac{1}{n}\sum {i=1}^{n}(\hat{Y} i - Y_i)^2$
- 平均平方距离的平方根：$\sqrt{\frac{1}{n}\sum {i=1}^{n}(\hat{Y}_i - Y_i)^2}$

这些数值通常被称为（平均）二次预测误差或预测的均方根误差。

1.2 二元结果

在二元结果的情况下，灵敏度和特异度是评估预测器性能的重要指标。灵敏度是指在真实值为1的样本中，预测值也为1的样本所占的比例；特异度是指在真实值为0的样本中，预测值也为0的样本所占的比例。此外，