【机器学习】模型评估_用样本数据检测预测模型的精度-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_63919802/article/details/133989435

一、模型评估常用的评估方法：

模型的准确率（Accuracy）是指模型在测试集上预测正确的样本数占总样本数的比例。通常用公式表示为：

准确率 = 预测正确的样本数 / 总样本数

在二分类问题中，如果将真正例定义为模型正确预测的正例数，真反例定义为模型正确预测的负例数，假正例定义为模型将负例错误地预测为正例的样本数，假反例定义为模型将正例错误地预测为负例的样本数，那么准确率可以进一步细分为：

准确率 = (真正例 + 真反例) / (真正例 + 真反例 + 假正例 + 假反例)

准确率是评估模型性能的基本指标之一。对于多分类问题，也可以使用类似的公式计算每个类别的准确率或者计算宏平均准确率和微平均准确率等不同的指标。

需要注意的是，有时候仅仅使用准确率不能完全反映模型的性能。例如，在极度不平衡的数据集中，模型可能会使得准确率过高，但同时漏掉了重要异常情况或较少出现的类别。因此，在实际应用中，我们可能需要结合其他指标来评估模型性能，如召回率、精确率、F1 分数等。

假设我们有一个二分类问题，数据集中有200个样本。其中，100个样本属于正类别（标记为1），另外100个样本属于负类别（标记为0）。

现在，我们使用一个分类模型对这个数据集进行训练，并在测试集上进行预测。在测试集上，模型正确地预测了60个正类别样本和70个负类别样本，但同时也出现了15个负类别样本被错误地预测为正类别，以及10个正类别样本被错误地预测为负类别。

我们可以将这些结果整理成一个混淆矩阵，如下所示：

	预测正类别	预测负类别
实际正类别	60	10
实际负类别	15	70

根据混淆矩阵，我们可以计算出模型的准确率。总样本数为200，其中有130个样本被正确地预测（60个正类别样本和70个负类别样本），因此准确率为：

准确率 = 130 / 200 = 0.65 = 65%（即模型在测试集上的准确率为65%）

通过混淆矩阵和准确率，我们可以得到一些关于模型性能的观察：

综上所述，准确率可以作为评估模型性能的一个指标，但它并不能提供关于不同类别的详细信息。因此，在实际应用中，通常需要结合其他评估指标来全面了解模型的表现。

模型评估的精确率（Precision）是指在所有预测为正例的样本中，真正例的比例。从公式上来看，精确率可以表示为：

精确率 = 真正例 / (真正例 + 假正例)

其中，真正例表示模型正确地预测为正例的样本数，假正例表示模型错误地将负例预测为正例的样本数。

精确率通常被用来评估分类器的准确性，特别是在有不平衡类别数据集的情况下。对于某些应用场景，例如医疗诊断等，在保证高精度的前提下，可能更注重找到真正例，而不是错判负例为正例，因为这可能会导致严重后果。

假设我们有一个二分类问题，数据集中有100个样本。其中，60个样本属于正类别（标记为1），另外40个样本属于负类别（标记为0）。

在测试集上，我们使用一个分类模型进行预测，其中预测结果为正类别的样本有30个，其中有20个属于真正例，10个属于假正例。那么，模型的精确率可以计算为：

精确率 = 20 / (20 + 10) = 0.67 = 67%

这意味着，模型在所有预测为正例的样本中，有67%是真正例。

需要注意的是，精确率通常对于不平衡类别数据集更具有意义。如果数据集中正类别样本比负类别样本多得多，那么分类器可能会将所有样本预测为正类别，这会导致非常高的准确率，但是精确率则会很低。因此，在实际应用中，我们可能需要结合其他指标来评估模型性能，如召回率、F1 分数等。

模型评估的召回率（Recall）是指在所有实际为正例的样本中，被正确预测为正例的比例。从公式上来看，召回率可以表示为：

召回率 = 真正例 / (真正例 + 假反例)

其中，真正例表示模型正确地预测为正例的样本数，假反例表示模型错误地将正例预测为负例的样本数。

召回率主要用于评估分类器对正例的识别能力，即分类器能够正确检测到多少真实的正例。

假设我们有一个二分类问题，数据集中有100个样本。其中，60个样本属于正类别（标记为1）