没有测量,就没有科学。
-----门捷列夫
模型评估主要分为离线评估和在线评估两个阶段。
在模型评估过程中, 分类问题、 排序问题、 回归问题往往需要使用不同的指标进行评估。 在诸多的评估指标中, 大部分指标只能片面地反映模型的一部分性能。 如果不能合理地运用评估指标, 不仅不能发现模型本身的问题, 而且会得出错误的结论。
准确率( Accuracy) , 精确率( Precision) , 召回率( Recall) , 均方根误差( Root Mean Square Error, RMSE)
准确率是分类问题中最简单也是最直观的评价指标, 但存在明显的缺陷。 比如, 当负样本占99%时, 分类器把所有样本都预测为负样本也可以获得99%的准确率。 所以, 当不同类别的样本比例非常不均衡时, 占比大的类别往往成为影响准确率的最主要因素。
以人脸检测与识别为例讲解相关指标:
- 真阳性(True Positive,TP):指被分类器正确分类的正例数据
- 真阴性(True Negative,T