模型性能评估指标

---

date: 2025-01-13
tags:

• 深度学习
• 机器学习

---

内容参考：
【机器学习基础】机器学习的模型评估（评估方法及性能度量原理及主要公式）_机器学习模型评价-优快云博客
4.1 模型评估【斯坦福21秋季：实用机器学习中文版】_哔哩哔哩_bilibili

Accuracy（准确率）：

correct predictions /examples
预测正确的数量除以样本的总数。但是对于不平衡问题，意义不大。
sum(y == y_hat)/y.size
y_hat表示预测值
广告点击问题：预测所有广告都不被点击，假设平均点击是8%,那这个模型就有92%的accuracy

Precision（查准率）：

correctly predicted as class i/#predicted as class i
类别i中预测对了多少个/预测为i类的
sum((y_hat == 1)&(y == 1))/sum(y_hat == 1)
是指预测结果中真正例（True Positive，TP）占所有预测结果中正例（Positive，TP+FP）的比例。公式为：Precision = TP / (TP + FP)。查准率越高，说明模型预测结果中真正例的比例越高，模型对于正样本的识别能力越强。

Recall(召回率、查全率)：

correctly predicted as class i/#example i as class i
sum((y_hat == 1)&(y == 1))/sum(y == 1)
是指预测结果中真正例（True Positive，TP）占所有实际正例（Positive，TP+FN）的比例。公式为：Recall = TP / (TP + FN)。查全率越高，说明模型能够成功预测出的正样本比例越高，模型的识别能力越全面。

F1：

F1是查准率和查全率的调和均值，用于综合评价模型的性能。公式为：F1 = 2 * (Precision * Recall) / (Precision + Recall)。F1值越高，说明模型在准确性和可靠性方面的表现都较好。

AUC&ROC：

ROC曲线：它通过将真正例率（True Positive Rate，TPR）和假正例率（False Positive Rate，FPR）作为横纵坐标来描绘分类器在不同阈值下的性能。ROC曲线的纵轴是“真正例率” (True Positive Rate,简称 TPR),横轴是“假正例率”一(False PositiveRate,简称FPR)
设置一个阈值$\theta$,如果y_hat>$\theta$,则判别为正例。当正负样本比较平衡的时候，$\theta$可以选取0.5，当样本不平衡或者实际生产中选取$\theta$会根据很多东西进行选择。比如说，就想把特别置信的部分选取出来，提升精度，降低召回率。ROC曲线反应了模型对于调整$\theta$的反应。
真正例率（True Positive Rate，TPR）= TP/（TP+FN）
假正例率（False Positive Rate，FPR）= FP/（FP+TN） 预测为正，实际为反 除以 所有实际为反例
每取一次不同的$\theta$都会得到真正利率和假正例率，每个点代表不同的$\theta$

第一个图和最后一个图都表示模型能够很好地将正反例分开，AUC=0.5就表示随机预测。
根据这个学习器计算出来得预测值，我们可以将测试样本进行排序，“最可能”是正例的放在最前面，“最不可能”是正例的排在最后面，这样分类过程就相当于在这个排序中的某个”截断点”(cut point)将样本呢分为两类，前一部分为正例，后一部分为反例。
绘制过程：
如何绘制ROC曲线：给定m+个正例和m-个反例，根据学习器的预测结果进行排序，然后把分类阈值设为最大，即把所有样例均预测为反例，此时TPR和FPR均为0，然后把阈值依次设为每个样例的预测值，即依次将每个样例划为正例。