7、机器学习性能指标、过拟合与偏差 - 方差权衡解析

机器学习性能指标、过拟合与偏差 - 方差权衡解析

1. 性能指标概述

性能指标用于衡量模型的表现，简单的分类指标如分类准确率，即匹配的预测数量除以总预测数量；对于回归任务，均方误差本身就是一种指标。不过，衡量模型性能的方法远不止简单的准确率，尤其是在分类任务中。

2. 分类指标

• 准确率的局限性 ：在不平衡数据的情况下，准确率可能会产生误导。例如，有 99 个正常点和 1 个异常点，异常检测模型正确预测了所有正常点但遗漏了异常点，准确率仍为 99%，但这显然没有达到异常检测的目的。
• 混淆矩阵 ：
  • 混淆矩阵的四个象限定义如下：
    • 真正类（True positive, TP）：预测为正类，且真实标签为正类。
    • 假正类（False positive, FP）：预测为正类，但真实标签为负类。
    • 真负类（True negative, TN）：预测为负类，且真实标签为负类。
    • 假负类（False negative, FN）：预测为负类，但真实标签为正类。
  • 以动物园动物是否患病为例，模型根据血液样本的标记进行预测。若模型预测动物患病且实际患病，为真正类；预测动物未患病且实际未患病，为真负类；预测动物患病但实际未患病，为假正类；预测动物未患病但实际患病，为假负类。
  • 在统计学中，假正类和假负类分别对应第一类错误（Type I error）和