36、自动化中性能度量与量化模型详解

自动化中性能度量与量化模型详解

1. 基础定义

在二元或多元分类领域，评估模型性能的主要标准十分关键。

1.1 混淆矩阵

在机器学习和统计分类的自动化算法中，混淆矩阵（也称为误差矩阵）常用于评估。所有评估算法都需填充该矩阵的单元格，并基于以下简单关系进行评估。混淆矩阵是一种特殊表格，可用于评估算法性能。矩阵中，每行代表真实类别中的样本，每列代表预测类别中的样本，不过这种排列也可颠倒。其命名容易让人混淆，因为根据输出结果，可通过一个点判断系统是否混淆了两个类别。也就是说，一个类别的实例可能被错误标记，也可能被正确标记。该矩阵还可扩展到多类实例，此时行数和列数会根据类别数量增加。

例如，图 9.2a 中的混淆矩阵只有两种情况：正类和负类。在大多数应用中，混淆矩阵可以有更多类别。图 9.2b 展示了道路路面病害分为五类的分类示例，其中零表示不属于任何类别。对于一个优秀的分类器，每个成员应仅属于其自身类别。

	预测正类	预测负类
真实正类	真正例（TP）	假负例（FN）
真实负类	假正例（FP）	真负例（TN）

1.2 主要指标

常用的评估分类模型性能的指标通常分为五类：一般统