混淆矩阵&漏报率&误报率

• 上表中对于TP、FP、FN、TN这样记忆：

  • 1. 首字母T/F表示是否预测正确，T表示预测对了，F表示预测错了
  • 2. 在已知自己预测对（T）或预测错（F）的前提下，如果能进一步知道是预测成什么（即P/N表示预测的类别，P为正类，N为负类）导致对/错，就能推理出TP、FP、FN、TN。如TN表示预测成负类，并且预测对了；FN表示预测成负类，但是预测错了；TP表示预测成正类，并且预测对了；FP表示预测成正类，但是预测错了。

• 常见的三个指标：

  • 准确率Accurate=$\frac{TP+TF(预测正确)}{TP+TF+FP+FN(样本总数)}$（以样本总数为视角（分母），预测对的占样本总数的比率）
  • 精准率Precision=$\frac{TP(预测成正样本且预测正确)}{TP+FP(预测成正样本的数量)}$（以预测为正样本的总数为视角（分母），预测为正样本且预测对的占预测为正样本的比率）
  • 召回率Recall=$\frac{TP(预测为正样本，且预测正确)}{TP+FN(实际为正样本的数量)}$（以实际为正样本的总数为视角（分母），预测为正样本且预测对的占实际为正样本的比率）

• 上面三个指标中，准确率我们太熟了，先抛开不讲，主要是召回率和精准率经常搞混。观察精准率和召回率，发现他们的分子都是TP，也就是预测为正类，并且预测对了，只是分母不一样，精准率是从预测角度出发（预测为正类的总数），召回率是从实际角度出发（实际为正类的总数）。还有个现象，就是召回率和精准率，无论分子、分母，都和正类有关。

• 漏报率和误报率经常用于安全领域，以安全告警为例，我们把告警信息设定为正类，非告警信息设定为负类

  • 漏报：所谓漏报指的是本来是告警，没预测出来，预测成非告警，即FN
  • 漏报率FNR：有多少个告警没预测出来。分析下，有多少个告警，指的是实际样本为正类（TP+FN），没预测出来就是预测成非告警，且预测错了（即刚才说的漏报FN），故漏报率=$\frac{FN}{TP+FN}=1-召回率$（PS：将召回率、分母为实际为正样本的总数、漏洞率放在一起记忆：照十楼）
  • 误报：所谓误报指的是本来不是告警，预测成了告警（非告警错误预测成告警），也即FP
  • 误报率FPR：有多少个非告警信息被错误预测成了告警。分析下，有多少个非告警指的是实际样本为负类（TN+FP），错误预测成了非告警，即刚才说的误报FP，故误报率=$\frac{FP}{TN+FP}$。
    • 误报率我们也称为假正率FPR。即误报率=假正率（FPR）。
    • 由于误报率的分母是实际样本为负类的总数，而精准率是实际样本为正类的总数，所以误报率和精准率没关系。仿照召回率和漏报率的关系，我们可以得到$误报率=1-\frac{TN}{TN+FP}$。这里$\frac{TN}{TN+FP}$我们称之为特异性Specificity