机器学习精简教程之八——二元分类效果的评估方法

本文转自：http://www.shareditor.com/blogshow/?blogId=59

效果评估是模型选择和算法设计的重要步骤，知道评估优劣才能选择最佳的模型和算法，本节介绍一些有关评估方法的定义，凡是在统计或大数据领域都用得到 

真阳性

true positives, TP

真阴性

true negatives, TN

假阳性

false positives, FP

假阴性 

false negatives, FN)

 

准确率

分类器预测正确性的比例，可以通过LogisticRegression.score() 来计算准确率

 

精确率

分类器预测出的脏话中真的是脏话的比例

P=TP/(TP+FP)

 

召回率

也叫灵敏度。所有真的脏话被分类器正确找出来的比例。

R=TP/(TP+FN)

知乎大神的通俗解释：

假设你的女票在过去10年（还没修成正果？）里，每年都会送一份生日礼物给你，有一天，她突然问你：

“记得这十年里你生日我都送过什么吗？”

这不是一个简单的问题，或者说这不是一个问题，这就是一颗雷

为了续命，你随即对自己的大脑进行了地毯式搜索，

这时，召回率（Recall）就等于你回答正确的礼物数和你女票在你生日时送你的礼物数的总和的比值：

比如，你准确地回答出10件礼物，那么召回率就为：10/10即100%

如果只准确地回忆起了7件，那么召回率（Recall）就是70%

但是，你所有的回答中可能有错误回答，比如，你一共给出了15个答案，其中5个是错的，这证明，你虽然可以回答出所有礼物，但是却不那么精确，因此，精确率这个概念便出现了：

精确率（Precision）就是10/15，约为67%

对比一下：

 

也就是说，尽管你给出了所有的答案，但是你总共回答了15次，虽然100%召回了，但是精确率只有66.67%，如果你回答了不止15次呢，如果是100次呢？（还是买彩票去吧）想一下女票气得要炸裂的表情吧，你命不久矣，也就说，精确率太低，就算召回率是100%，女票眼里，你也已经是dead meat了。

综合评价指标

F-measure，精确率和召回率的调和均值。精确率和召回率都不能从差的分类器中区分出好的分类器，综合评价指标平衡了精确率和召回率。

1/F+1/F=1/P+1/R即

F=2*PR/(P+R)

 

误警率

假阳性率，所有阴性样本中分类器识别为阳性的样本所占比例 

F=FP/(TN+FP)

 

ROC(Receiver Operating Characteristic)

ROC曲线画的是分类器的召回率与误警率(fall-out)的曲线