多分类问题的指标计算

多分类问题的指标计算

在机器学习中，常用的分类指标有 Accuracy，Precision，Recall 和 F1-Score。

二分类指标

对于二分类问题，可将样例根据真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positve)、真反例(true negative)、假反例(false negative)四种情形，可以得出分类结果的混淆矩阵：

其中，查准率 $Precision=\frac{TP}{TP+FP}$，查全率 $Recall=\frac{TP}{TP+FN}$

$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$

$F1-Score=\frac{2\times precision\times recall}{precision+recall}$

多分类指标

多分类的混淆矩阵有多个类别：

在多分类的混淆矩阵中，正确的分类样本分布在左上到右下的对角线上。其中，Accuracy 的定义为分类正确（对角线）的样本数与总样本数的比值。Accuracy 表示全局样本的分类情况，而 precision 和 recall 需要针对每个类单独计算。

举例：对于类别1，其 precision 和 recall 为：

$precisio{n}_1=\frac{TP}{TP+FP}=\frac{10}{10+10+10}=\frac{1}{3}$

$recal{l}_1=\frac{TP}{TP+FN}=\frac{10}{10+20+30}=\frac{1}{6}$

其他类别也同理计算：

$precisio{n}_2=\frac{TP}{TP+FP}=\frac{30}{20+30+40}=\frac{1}{3}$

$recal{l}_2=\frac{TP}{TP+FN}=\frac{30}{10+30+40}=\frac{3}{8}$

$precisio{n}_3=\frac{TP}{TP+FP}=\frac{50}{30+40+50}=\frac{5}{12}$

$recal{l}_3=\frac{TP}{TP+FN}=\frac{50}{10+40+50}=\frac{1}{2}$

若想要评估该系统的总体性能，则有以下几种方法
首先

$Accuracy=\frac{T{P}_1+T{P}_2+T{P}_3}{{\Sigma }_{i=1}^3(T{P}_i+T{N}_i+F{P}_i+F{N}_i)}=\frac{10+30+50}{60+80+100}=\frac{3}{8}=0.3750$

1. Macro-average

直接将不同类别的指标相加再求平均，也就是所有类别权重相同。该方法把每个类别平等看待，但是最终结果受到稀有类别影响。

$Macro-Precision=\frac{precisio{n}_1+precisio{n}_2+precisio{n}_3}{3}=\frac{13}{36}=0.3611$

$Macro-Recall=\frac{recal{l}_1+recal{l}_2+recal{l}_3}{3}=\frac{25}{72}=0.3472$

2. Micro-average

该方法把每个类别的TP、FP、FN先相加之后，再根据二分类的计算方法来计算。

$Micro-Precision=\frac{T{P}_1+T{P}_2+T{P}_3}{T{P}_1+T{P}_2+T{P}_3+F{P}_1+F{P}_2+F{P}_3}=\frac{10+30+50}{30+90+120}=\frac{3}{8}=0.3750$

$Micro-Recall=\frac{T{P}_1+T{P}_2+T{P}_3}{T{P}_1+T{P}_2+T{P}_3+F{N}_1+F{N}_2+F{N}_3}=\frac{10+30+50}{60+80+100}=\frac{3}{8}=0.3750$

可以发现，总体的 Accuracy 和 Micro-Precision 和 Micro-Recall 是相同的，它们都计算了对角线样本数和总样本数的比值。