Precision和Recall

1. 二分类模型的指标

• 精准率，即在所有被预测为阳性的测试数据中，真正是阳性的比率：
  Precision=TP / (TP+FP)
• 召回率，即在所有实际为阳性的测试数据中，真正是阳性的比率：
  Recall=TP / (TP+FN)
• 为了综合这两个指标并得出量化结果，又发明了F1Score：
  F1Score = 2*(Precision * Recall) / (Precision + Recall)

显然上面三个值都是越大越好，但往往在实际当中P和R是矛盾的，很难保证双高。

除了精准率和召回率，还有一个准确率（Accuracy），可以用来评估分类模型。准确率指分类模型预测正确的结果在整体中的占比例：
Accuracy = 预测正确的样本数 / 所有样本数

二分类模型的Accuracy = (TP+TN) / (TP+TN+FP+FN) = (TP+TN) / Count(Samples)

2. 多分类模型的指标

以某一个分类Class1的指标为例：

• Class1的精准率：C1_Precision = C1_TP/（C1_TP+C1_FP），即在所有被预测为Class1的测试数据中，预测正确的比率。
• Class1的召回率：C1_Recall = C1_TP/（C1_TP+C1_FN），即在所有实际为Class1的测试数据中，预测正确的比率。
• Class1的F1Score: C1_F1Score = 2 * (C1_Precision * C1_Recall) / (C1_Precision + C1_Recall)

同理，Class1的准确率：
C1_Accuracy = (Class1_TP + Class1_TN) / count(Samples)

当我们评估一个多分类模型的时候，一般不会用具体某一个类的Precision，Recall或者Accuracy去对其进行评价，而是会用一个数值来代表整体性能。通常会用到的指标是整体准确率。我们可能会想，整体正确率就是对所有类的Accuracy求均值或者加权求均值。但是实际上，有一个更直接更方便的方法（总体准确率）：
Overall_Accuracy = 各类被预测对了的样本数量的累加 / 样本总数 = sum (class_i_TP) / count(Samples)