7、机器学习中的评估指标、过拟合与交叉验证

机器学习中的评估指标、过拟合与交叉验证

1. 分类问题的评估指标：ROC与AUC

在机器学习中，对于数值型Y问题，我们常用平均绝对百分比误差（MAPE）来衡量预测能力；而在分类应用中，整体误分类误差（OME）是常用的指标。不过，在分类问题里，还有其他常见的衡量指标，下面我们将重点介绍接收者操作特征曲线（ROC）及其曲线下面积（AUC）。

1.1 ROC与AUC的详细介绍

许多分析师会使用AUC值作为分类问题中预测能力的整体衡量指标，这里的曲线就是ROC曲线。要理解ROC，我们得先回顾一下分类预测的阈值概念。如果估计的类别概率在阈值的一侧，我们预测为类别1；在另一侧，则预测为类别0。阈值可以在0到1之间任意取值，我们会根据具体应用的目标来选择合适的阈值。

ROC曲线会探索各种不同阈值下的预测情况。例如，当阈值为0.4或0.7时，我们的预测效果如何？而“预测效果如何”可以通过两个指标来衡量：真正率（TPR）和假正率（FPR）。TPR也称为灵敏度，是指在实际类别为1的情况下，我们预测为1的概率；FPR则是指在实际类别为0的情况下，我们预测为1的概率。需要注意的是，阈值的取值决定了FPR和TPR，ROC曲线就是随着阈值的变化，绘制TPR与FPR的关系图。

AUC是ROC曲线下的总面积，取值范围在0到1之间。曲线越高越好，因为这意味着对于任何固定的FPR，TPR都更高。所以，AUC越接近1.0，预测能力就越强。

1.2 qeROC()函数的使用

qeROC()函数封装了pROC包中的roc()函数，它可以对qe* - 函数（如qeKNN()）的输出进行ROC分析，调用形式如下：

<