模型评估的重要指标

最新推荐文章于 2025-05-20 22:44:28 发布

原创最新推荐文章于 2025-05-20 22:44:28 发布 · 658 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

机器学习专栏收录该内容

44 篇文章

订阅专栏

本文探讨了模型评估的重要指标，包括分类模型的准确率、召回率、精准率、F值、ROC曲线和AUC曲线，以及回归模型的RMSE、MSE等。详细解释了混淆矩阵的概念，并解析了ROC曲线的真正类率、假正类率及其意义。AUC值越大，表明模型性能越好。然而，ROC曲线在高度不平衡数据集上的表现可能不准确。

模型的测试一般在以下几个方面进行比较，即模型的重要评价指标，分类模型的评价指标主要有：准确率/召回率/精准率/F值/ROC曲线/AUC曲线，回归模型的评价指标主要有RMSE（均方根误差）MSE（均方误差）、平均绝对误差、中值绝对误差、 $R^{2}$

决定系数，接下来针对模型的评价指标进行相关的阐述。

在介绍各项指标之前先简单介绍下混淆矩阵

这里写图片描述

真正例（TP）：实际上是正例的数据点被标记为正例

假正例（FP）：实际上是反例的数据点被标记为正例

真反例（TN）：实际上是反例的数据点被标记为反例

假反例（FN）：实际上是正例的数据点被标记为反例

这里写图片描述

准确率（Accuracy 正确率）=所有预测正确的样本/总的样本（TP+TN）/总

精确率（Precision）= 将正类预测为正类 / 所有预测为正类 TP/（TP+FP）

召回率（Recall）= 将正类预测为正类 / 所有正真的正类 TP/（TP+FN）

F值（F-1Score） = 精确率 * 召回率 * 2 / ( 精确率 + 召回率) （F 值即为精确率和召回率的调和平均值）

ROC曲线：接收者操作特征(receiver operating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。

纵轴：真正类率(true postive rate TPR)，也叫真阳性率

横轴：假正类率(false postive rate FPR)，也叫伪阳性率

由上表可得出横，纵轴的计算公式：

(1)真正类率(True Postive Rate)TPR: TP/(TP+FN), 代表分类器预测为正类中实际为正实例

占所有正实例的比例。

(2)假正类率(False Postive Rate)FPR: FP/(FP+TN)，代表分类器预测为正类中实际为负实例占所有负实例的比例。

这里写图片描述

横轴FPR: FPR越大，预测正类中实际负类越多。

纵轴TPR：TPR越大，预测正类中实际正类越多。

理想目标：TPR=1，FPR=0，即图中(0,1)点，此时ROC曲线越靠拢A点，越偏离45度对角线越好。

1）曲线与FP_rate轴围成的面积（记作AUC）越大，说明性能越好，即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上方）性能越好，曲线越靠近B点（右下方）曲线性能越差。
（2）A点是最完美的performance点，B处是性能最差点。
（3）位于C-D线上的点说明算法性能和random猜测是一样的–如C、D、E点。位于C-D之上（即曲线位于白色的三角形内）说明算法性能优于随机猜测–如G点，位于C-D之下（即曲线位于灰色的三角形内）说明算法性能差于随机猜测–如F点。
（4）虽然ROC曲线相比较于Precision和Recall等衡量指标更加合理，但是其在高不平衡数据条件下的的表现仍然过于理想，不能够很好的展示实际情况。