31、机器学习模型评估与卷积神经网络入门

机器学习模型评估与卷积神经网络入门

1. 模型评估指标

在评估模型性能时，准确率并非衡量模型性能的充分指标。以一个将 784 个输入值（28×28 像素）映射到 2 个节点，再到 10 个输出节点的奇怪模型为例，其准确率为 1/10 = 0.1 = 10%，虽比随机猜测准确四倍，但该模型的混淆矩阵很奇怪，因此不能仅依据准确率来判断模型好坏。

1.1 多分类马修斯相关系数（MCC）

2×2 混淆矩阵衍生出了许多可能的指标，这里主要探讨多分类情况下的马修斯相关系数（MCC）。

• 二分类情况下，MCC 的计算公式为：
  [MCC = \frac{TP \cdot TN - FP \cdot FN}{\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}]
• 多分类情况下，MCC 的计算公式为：
  [MCC = \frac{c \times s - \sum_{k}^{K} p_k \times t_k}{\sqrt{(s^2 - \sum_{k}^{K} p_k^2) \times (s^2 - \sum_{k}^{K} t_k^2)}}]
  其中：
  [t_k = \sum_{i}^{K} C_{ik}]
  [p_k = \sum_{i}^{K} C_{ki}]
  [c = \sum_{k}^{K} C_{kk}]
  [s = \sum_{i}^{K} \sum_{j}^{K} C_{ij}]
  这里，K 是类别数，C 是混淆矩阵。二分类的 MCC 值范围是 [–1, +1]，多分类情况下下限会根据类别数变化，但上限始终为 1.0