30、机器学习模型评估指标与方法详解

机器学习模型评估指标与方法详解

1. 决策阈值对指标的影响

在MNIST奇偶模型中，随着决策阈值（θ）的上升，正预测值（PPV）也会上升。这意味着当模型判定一个输入属于类别1时，它会变得更加自信。然而，马修斯相关系数（MCC）的变化会对这种情况进行调节。MCC是衡量整体模型性能的优秀单一指标，在该模型中，当θ = 0.5时，MCC达到最高值，当阈值增大或减小时，MCC都会下降。

2. 使用ROC分析比较模型

ROC曲线能为我们提供大量信息，并且便于比较不同的模型，即使这些模型在架构或方法上有很大差异。但在比较时，要确保用于生成曲线的测试集尽可能相同。

以MNIST奇偶数字模型为例，不同模型的ROC曲线如图所示。其中，具有两个节点的单隐藏层模型的ROC曲线与其他三条曲线有显著差异，其他曲线都在它之上。一般来说，如果一条ROC曲线完全在另一条之上，那么生成该曲线的模型可以被认为更优。所以，所有较大的MNIST奇偶模型都优于只有两个节点隐藏层的模型。

对于另外三条接近的曲线，选择哪个模型并不总是一目了然。根据ROC曲线的经验法则，应选择分别具有500和250个节点的两层模型，因为其ROC曲线在其他曲线之上。但实际选择还需考虑使用场景，该模型有超过500,000个参数，运行时需要使用所有这些参数；而100 × 50模型包含略多于80,000个参数，不到大模型参数数量的五分之一。如果更看重处理速度，可能会选择较小的模型，因为ROC分析表明这样做只会带来较小的性能损失。

另外，在直观比较ROC曲线时，还需考虑假正率（FPR）较小时曲线的斜率。完美模型的ROC曲线斜率为垂直，因为它会从点(0,0)立即跳到(0,1)。所以，更好的模