多分类损失函数和评价指标（objectives and metrics）

多分类任务：损失函数与评价指标详解

原创已于 2022-12-20 16:57:39 修改 · 2.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#分类 #人工智能

于 2022-03-15 22:20:40 首次发布

机器学习专栏收录该内容

30 篇文章

订阅专栏

本文详细探讨了多分类问题中的常用损失函数，如Softmax、OneVsAll、Precision、Recall、F1分数（包括Weighted、Macro和Micro）、MCC、Accuracy、ZeroOneLoss、HingeLoss、HammingLoss、Kappa、WKappa及AUC。讲解了这些指标如何评估模型性能，尤其关注于处理不平衡数据的方法和策略。

1 多分类损失函数和评价指标（objectives and metrics） 1
1.1 MultiClass- softmax loss 2
1.2 MultiClassOneVsAll 2
1.3 Precision 3
1.4 Recall 3
1.5 F-Measure F1 3
1.6 TotalF1 3
1.6.1 Weighted TotalF1 3
1.6.2 Macro F1 4
1.6.3 Micro F1 4
1.7 MCC 4
1.8 Accuracy 5
1.9 ZeroOneLoss 5
1.10 HingeLoss 5
1.11 HammingLoss 5
1.12 Kappa 6
1.13 WKappa 6
1.14 AUC 6

1 多分类损失函数和评价指标（objectives and metrics）

1.1 MultiClass- softmax loss

在这里插入图片描述

其中w是样本数据的权重。

1.2 MultiClassOneVsAll

在one-vs-all策略中，假设有n个类别，那么就会建立n个二项分类器，每个分类器针对其中一个类别和剩余类别进行分类。进行预测时，利用这n个二项分类器进行分类，得到数据属于当前类的概率，选择其中概率最大的一个类别作为最终的预测结果。
在这里插入图片描述

1.3 Precision

在这里插入图片描述

1.4 Recall

在这里插入图片描述

1.5 F-Measure F1

在这里插入图片描述

1.6 TotalF1

1.6.1 Weighted TotalF1
在这里插入图片描述

1.6.2 Macro F1
在这里插入图片描述

1.6.3 Micro F1
在这里插入图片描述

1.7 MCC

马休斯相关系数（Matthews Correlation Coefficient ）–MCC。它能解决不均衡类别数据的指标衡量问题
混淆矩阵（confusion matrix）衡量的是一个分类器分类的准确程度。
在这里插入图片描述

当FP=FN=0即完全预测正确时 MCC=1
当完全预测错误时MCC=-1，此时将标签逆转即可
当MCC=0时表明模型不比随机预测好

1.8 Accuracy

1.9 ZeroOneLoss

1−Accuracy

1.10 HingeLoss

Hinge Loss是一种目标函数（或者说损失函数）的名称，通常被用于最大间隔算法(maximum-margin)，而最大间隔算法又是SVM(支持向量机support vector machines)用到的重要算法。

1.11 HammingLoss

Hamming loss（汉明损失），该指标衡量了预测所得标记与样本实际标记之间的不一致程度，即样本具有标记y但未被识别出，或不具有标记y却别误判的可能性。它直接统计了被误分类label的个数（不属于这个样本的标签被预测，或者属于这个样本的标签没有被预测）。hloss=0表示所有的每一个data的所有label都被分对了。
在这里插入图片描述

1.12 Kappa

Kappa是一种基于混淆矩阵计算的衡量分类精度的指标，通常kappa落在 [0-1] 间，可分为五组来表示不同级别的一致性：0-0.2为极低的一致性(slight)、0.21-0.4为一般的一致性(fair)、0.41-0.6为中等的一致性(moderate)、0.61-0.8 为高度的一致性(substantial)和0.81-1几乎完全一致(almost perfect)。