二元分类器模型评估指标

准确率

准确率顾名思义就是分类器正确分类的样本数占总体数的比例，虽然准确率可以衡量分类器的整体正确性，但是当类别在总样本中呈偏态分布是，准确率就不是一个很有效的衡量指标，例如信用卡欺诈检测，大多数是合法交易，所以分类器的分类准确率会达到99%以上，但是这不能说明模型就一定是好的，所以分类器会经常使用精准率和召回率来进行衡量。

精准率与召回率

在分类时，会出现四种情况，如表所示

分类	预测结果为正	预测结果为负
实际结果为+1	真正例 or 真阳性(TP)	伪反例 or 假阴性(FN)
实际结果为-1	伪正例 or 假阳性(FP)	真反例 or 真阴性(TN)

精准率就是预测为真例的样本中真正正例的比例，计算公式为TP/(TP+FP)
召回率是预测为真例的占被总体正例的样本的比例，计算公式为TP/(TP+FN)
错检率就是预测为真例的反例占总体反例的比例，的计算公式为FP/(FP+TN)
这其中需要注意名称变化：
真阳性率TPR = 召回率
假阳性率FPR = 错检率
如果召回率为1，则证明FN为0，也就是分类器没有做出伪反例的预测

F1值

F1值是精准率和召回率的调和平均值，计算公式为 2*(精确率*召回率)/(精确率+召回率)，数值越大，模型越好
F1值会对精准率和召回率不平衡的分类器进行惩罚，例如总是预测为正例的分类器，达到完美精准率和召回率的模型F1值为1，而达到完美