最近在复盘udacity 的机器学习的课程,现在来整理一下关于机器学习模型的评估指标的相关知识。
不同数据集采用不同的模型进行训练,会得到完全不同的效果,那么如何衡量一个模型是否适合该数据集呢?在数据集训练后可以对一些指标进行运算,观察实际的效果,进行调整参数或者更换模型等等。
学习模型的评估指标常用的有几种:F-β得分(F1得分,F2得分等等,根据不同的业务实际需求来指定适合的β值),ROC 曲线,回归指标包含:平均绝对误差,均方误差,R2分数等等
1 混淆矩阵
上图为检测特定疾病的例子,如果一个人检测出生病,那么成为阳性,如果检测结果是未生病则为阴性,阳性分为真阳性和假阳性,阴性分为真阴性和假阴性.
如果一个病人检测出生病,则为真阳性 (True Positive ,TP)
如果一个病人检测为健康,则为假阴性(False Negative,FN);
如果一个健康人检测出生病,称为假阳性 (False Positive,FP);
如果一个健康人检测为健康,称为真阴性(True Negative,TN)
由上面四种状态构成的矩阵称之为混淆矩阵。
再看一个检测垃圾邮件的例子: