机器学习————模型评估

目录

一、模型评估介绍

1.1 模型评估概述

1.2 混淆矩阵概述

1.3 分类算法常见指标

1.3.1 准确率（Accuracy）

1.3.2 精准率(Precision)

1.3.3 召回率（Recall）

1.3.4 F1分数（F1 Score）

1.3.5 PR曲线

1.3.6 AUC/ROC曲线

​编辑

1.4  欠拟合与过拟合介绍

1.4.1 欠拟合

1.4.2 过拟合

1.4.3 泛化能力

二、模型评估代码实战

2.1 数据集准备

2.2 KNN分类器并训练

2.3 绘制PR曲线和ROC曲线

2.4 PR与ROC曲线分析

三、模型评估总结

3.1 评估指标总结

---

一、模型评估介绍

1.1 模型评估概述

机器学习模型的评估方法主要目的是了解模型在训练数据上的表现，以确定模型是否有过拟合或欠拟合的问题，以及模型在新数据上的泛化能力。

机器学习模型的评估方法涉及到多个方面，包括损失函数、训练误差、验证误差、测试误差、交叉验证、模型选择等。通过综合考虑这些因素，可以优化模型的性能，并选择具有较好泛化能力的模型。

评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。

1.2 混淆矩阵概述

混淆矩阵（confusion matrix）是一个评估分类问题常用的工具，对于 k 元分类，其实它是一个k x k的表格，用来记录分类器的预测结果。例如对于常见的二分类，它的混淆矩阵是 2 x 2 的。

在二分类中，可以将样本根据其真实结果和模型的预测结果的组合划分为真阳性（true positive，TP）、真阴性（true negative，TN）、假阳性（false positive，FP）、假阴性（false negative，FN）。根据 TP、TN、FP、FN 即可得到二分类的混淆矩阵，如下图所示。

注意：
第一个字母表示真实值与预测值划分正确与否，T 表示判定正确， F 表示判定错误 (False)。
第二个字母表示分类器判定结果(预测结果)， P 表示判定为正例， N 表示判定为负例

1.3 分类算法常见指标

1.3.1 准确率（Accuracy）

准确率是指分类正确的样本占总样本个数的比例。准确率是针对所有样本的统计量。它被定义为：

准确率能够清晰的判断我们模型的表现，但有一个严重的缺陷： 在正负样本不均衡的情况下，占比大的类别往往会成为影响 Accuracy 的最主要因素，此时的 Accuracy 并不能很好的反映模型的整体情况。

例如，一个测试集有正样本99个，负样本1个。模型把所有的样本都预测为正样本，那么模型的Accuracy为99%，看评价指标，模型的效果很好，但实际上模型没有任何预测能力。

1.3.2 精准率(Precision)

精确率又称为查准率，是针对预测结果而言的一个评价指标。指在分类正确的正样本个数占分类器判定为正样本的样本个数的比例。精确率是对部分样本的统计量，侧重对分类器判定为正类的数据的统计。它被定义为：

1.3.3 召回率（Recall）

召回率是指分类正确的正样本个数占真正的正样本个数的比例。召回率也是对部分样本的统计量，侧重对真实的正类样本的统计。它被定义为：

Precision 与 Recall 的权衡
精确率高，意味着分类器要尽量在 “更有把握” 的情况下才将样本预测为正样本， 这意味着精确率能够很好的体现模型对于负样本的区分能力，精确率越高，则模型对负样本区分能力越强。

召回率高，意味着分类器尽可能将有可能为正样本的样本预测为正样本，这意味着召回率能够很好的体现模型对于正样本的区分能力，召回率越高，则模型对正样本的区分能力越强。

从上面的分析可以看出，精确率与召回率是此消彼长的关系， 如果分类器只把可能性大的样本预测为正样本，那么会漏掉很多可能性相对不大但依旧满足的正样本，从而导致召回率降低。

那么当不同模型的Recall和Precision各有优势时该如何选择模型？此时可以通过F1 Score来比较。

1.3.4 F1分数（F1 Score）

F1 Score是精准率