机器学习笔记（IV）模型评估与选择（III）

查准率，查全率与$F1$

对于二分类问题，可以将样例根据真实的类别与学习器预测类别的组合分为真正例（TP true positive）、假正例（FP false positive）、真反例（TN true nagative）、假反例（FN false negative）。
显然
$TP+FP+TN+FN=$样例总数

分类结果混淆矩阵

真实情况	预测结果
	正例	反例
正例	$TP$	$FN$
反例	$FP$	$TN$

查准率：

$P= \dfrac {TP}{TP+FP}$

查全率：

$R= \dfrac {TP}{FP+FN}$
一般情况下
$P\uparrow,R\downarrow$
$P\downarrow,R\uparrow$

Break-Even Point（BEP）

平衡点：
此时$P=R$,此时，查准率$=$查全率
如果一个学习算法$A$的$PR$曲线完全包住另一个算法$B$的$PR$曲线则可以判断这个算法$A$比算法$B$要好。

$F1$度量

$F1$度量的一般形式

$F1=\dfrac{2\times{P}\times{R}}{P+R}=\dfrac{2\times{TP}}{样例总数+TP-TN}$
注：
$F1$度量是基于查准率和查全率的调和平均数定义的：
$\dfrac{1}{F}=\dfrac{1}{2}\cdot\left(\dfrac{1}{P}+\dfrac{1}{R}\right)$

$F_{\beta}$度量

一些情况下对于查准率和查全率的重视程度的不同，采用的一种$F1$度量的一般形式。
定义为：
$F_{\beta}=\dfrac{(1+\beta^2)\times{P}\times{R}}{({\beta}^2\times{P})+R}$
其中$\beta \gt0$度量了查全率对查准率的相对重要性，$\beta=1$时退化为$F1$;$\beta \gt 1$时查全率有更大影响，$\beta \lt 1$时查准率有更大影响。
注：
$F_{\beta}$度量是基于查准率和查全率的是加权调和平均数定义的：
$\dfrac{1}{F_{\beta}}=\dfrac{1}{1+\beta^2}\left(\dfrac{1}{P}+\dfrac{\beta^2}{R}\right)$

多个二分类混合矩阵

一般做法

在各个混淆矩阵上分别计算出查准率和查全率
记为$(P_1,R_1),(P_2,R_2),\dots,(P_n,R_n)$

宏(macro)

做法：先计算再平均
宏查准率：
$macro\text{-}P=\dfrac{1}{n}\sum_{i=1}^{n}P_i$
宏查全率：
$macro\text{-}R=\dfrac{1}{n}\sum_{i=1}^{n}R_i$
宏$F1$:
$macro\text{-}F1=\dfrac{2\times{macro\text{-}P}\times{macro\text{-}R}}{macro\text{-}P+macro\text{-}R}$

微(micro)

做法：先平均再计算
$\overline{TP}=\dfrac{1}{n}\sum_{i=1}^{n}TP$

$\overline{FP}=\dfrac{1}{n}\sum_{i=1}^{n}FP$

$\overline{TN}=\dfrac{1}{n}\sum_{i=1}^{n}TN$

$\overline{FN}=\dfrac{1}{n}\sum_{i=1}^{n}FN$
微查准率：
$micro\text{-}P=\dfrac{\overline{TP}}{\overline{TP}+\overline{FP}}$
微查全率：
$micro\text{-}R=\dfrac{\overline{TP}}{\overline{TP}+\overline{FN}}$
微$F_1$
$micro\text{-}F1=\dfrac{2\times{micro\text{-}P}\times{micro\text{-}R}}{micro\text{-}P+micro\text{-}R}$