29、高级模型评估指标：概念、计算与应用

高级模型评估指标：概念、计算与应用

在机器学习模型评估中，除了基础的评估指标，还有一些更为高级的指标能帮助我们更全面地了解模型性能。本文将详细介绍这些高级指标，并引入一种图形化的评估方法——ROC曲线。

1. 高级评估指标介绍

高级评估指标并非直接使用2×2混淆矩阵中的元素，而是基于矩阵计算出的值构建而成。下面将详细介绍五个高级指标：

1.1 信息性（Informedness）和标记性（Markedness）

• 信息性 ：信息性（也称为尤登J统计量）结合了真阳性率（TPR，灵敏度）和真阴性率（TNR，特异度），公式为：
  [Informedness = TPR + TNR - 1]
  信息性的值范围在[-1, +1]之间，值越高越好。值为0表示随机猜测，值为1表示模型在测试集上表现完美，值小于0可能意味着模型比随机猜测还差。若值为 -1，则表示所有真阳性实例都被预测为阴性，反之亦然，此时交换模型的预测标签可能会得到一个不错的模型。
• 标记性 ：标记性以与信息性结合TPR和TNR相同的方式结合了正预测值（PPV）和负预测值（NPV），公式为：
  [Markedness = PPV + NPV - 1]
  标记性的值范围与信息性相同。信息性反映了模型对每个类别的输入进行正确标记的能力，而标记性则反映了模型在为特定输入指定特定标签时的正确性。随机猜测的标记性接近0，完美模型的标记性接近1。

1.2 F1分数（F1 Score）

F1分数广泛应用于模型评估，它将精确率