分类评估方法详解-优快云博客

分类的评估方法

1 精确率和召回率

混淆矩阵
在分类任务下，预测结果（Predict Condition）与正确标记（True Condition）之间存在四种不同的组合，构成混淆矩阵（适用于多分类）
精确率（Precision）与召回率（Recall）
（1）精确率：预测结果为正例样本中真实为正例的比例（了解）
      精确率= $TPTP+FP\frac{TP}{TP+FP}$

（2）召回率：真实为正例的样本中预测结果为正例的比例（对正样本的区分能力，差的全不全）
      召回率= $TPTP+FN\frac{TP}{TP+FN}$
（3）F1-score，反映了模型的稳健性
      F1= $2TP2TP+FN+FP=2Precision∗RecallPrecision+Recall\frac{2TP}{2TP+FN+FP}=\frac{2Precision*Recall}{Precision+Recall}$
分类评估报告API
sklearn.metrics classification_report(y_true,y_pred,labels=[],target_name=None)
y_true：真实目标值
y_pred：估计器预测目标值
labels：指定类别对应的数字
target_name：目标类别名称
return：每个类别精确率与召回率

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例（默认癌症为正例），准确率就为99%，但是这样效果并不好，这就是样本不均衡下的评估问题。
准确率：99%
召回率：100%
精确率：99%
F1-score：2*99%*100%/199%=99.497%
工厂里面的质量检测，关注的也是次品的召回率。
问题：如何衡量样本不均衡下的评估？

ROC曲线和AUC指标（衡量样本在不均衡的情况下好不好）

知道TPR与FPR
TPR=TP/(TP+FN)-----所有真实类别为1的样本中，预测类别为1的比例
FPR=FP/(FP+TN)----所有真实类别为0的样本中，预测类别为1的比例
ROC曲线
图中的蓝色为ROC曲线，ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5。
AUC指标
（1）AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
（2）AUC的最小值为0.5，最大值为1，取值越高越好
（3）AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美的预测。绝大多数的预测场合，不存在完美分类器
（4）0.5<AUC<1，由于随即预测，这个分类器（模型)妥善设定阈值的化，能有预测价值。
（5）最终AUC的范围在[0.5，1]之间，并且越接近1越好。
注意：如果AUC<0.5，反过来看。
AUC计算API
sklearn.metrics import roc_auc_score(y_true,y_score)
计算ROC曲线的面积，即AUC值
y_true：每个样本的真实类别，必须为0（反例），1（正例）标记
y_score：预测的分，可以是正类的估计概率、置信值或者分类器方法的返回值

案例：癌症分类预测

结合上一个逻辑回归的癌症分类预测的案例，对于预测的结果使用精确率和召回率以及AUC进行评估，代码如下：

#查看精确率、召回率、F1-score
from sklearn.metrics import classification_report
report = classification_report(y_test,y_predict,labels=[2,4],target_names=["良性","恶性"])
print(report)

结果：
在这里插入图片描述

#计算ROC和AUC
#y_true：每个样本的真实类别，必须为0（反例），1（正例）标记
#将y_test转换成0/1
y_true = np.where(y_test>3,1,0)
from sklearn.metrics import roc_auc_score
roc_auc_score(y_true,y_predict)

结果：
在这里插入图片描述