机器学习评估指标简介

Guzith

已于 2025-01-10 11:25:17 修改

阅读量1.5k

点赞数 33

文章标签：人工智能机器学习算法

于 2025-01-10 10:55:14 首次发布

本文链接：https://blog.youkuaiyun.com/Guzith/article/details/145050863

版权

基本指标

在机器学习，尤其是分类问题中，TP、TN、FP、FN 是四个非常重要的概念，它们用来评估分类模型的性能。

TP (True Positive): 真正例，即样本的真实类别为正类，模型也预测为正类。换句话说，模型正确地将一个正样本识别为正样本。

TN (True Negative): 真负例，即样本的真实类别为负类，模型也预测为负类。换句话说，模型正确地将一个负样本识别为负样本。

FP (False Positive): 假正例，即样本的真实类别为负类，但模型却预测为正类。也就是模型错误地将一个负样本识别为正样本，常称为“误报”。

FN (False Negative): 假负例，即样本的真实类别为正类，但模型却预测为负类。也就是模型错误地将一个正样本识别为负样本，常称为“漏报”。

形象地比喻：

想象你正在训练一只狗去识别猫。

TP： 狗成功地把一只猫识别为猫。
TN： 狗成功地把一只不是猫的动物（比如狗）识别为不是猫。
FP： 狗错误地把一只不是猫的动物（比如兔子）识别为猫。
FN： 狗错误地把一只猫识别为不是猫。

1. 准确率（Accuracy）

定义：准确率表示模型预测正确的样本占总样本数的比例，是一种衡量分类模型整体性能的指标。

计算方式：

$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$

TP（True Positive）：真正类——被正确分类为正例的样本数。
TN（True Negative）：真负类——被正确分类为负例的样本数。
FP（False Positive）：假正类——被错误分类为正例的负类样本数。
FN（False Negative）：假负类——被错误分类为负例的正类样本数。

解释：准确率关注的是模型整体的预测正确率，尤其在正负类样本数量较为平衡时，准确率是一个合理的性能评估指标。但在类别分布不均衡的情况下（如负例远多于正例），仅凭准确率不能全面评估模型性能。

2. 精确率（Precision）

定义：精确率（Precision）是用于衡量分类模型准确性的指标之一，主要关注的是模型预测为正类的样本中，有多少是真正的正类样本。它反映了模型在预测为正例时的可靠性，即当模型预测为正时，结果有多大概率是正确的。

计算方式：

$Precision=\frac{TP}{TP+FP}$

TP（True Positive）：真正类——被正确分类为正例的样本数。
FP（False Positive）：假正类——被错误分类为正例的负类样本数。

解释：精确率注重的是模型在识别正类样本时的准确性。当精确率较高时，表示模型对正类的预测准确度高，即预测为正例的样本中，大多数都是正确的正例。特别适用于假正类代价较高的场景，例如垃圾邮件分类，若模型错误地将正常邮件识别为垃圾邮件（即FP过高），会导致用户体验不佳，因此精确率在这种场景下尤为重要。

精确率的应用场景

信息检索：在搜索引擎中，精确率反映了搜索结果中有多少是相关的。例如，当用户搜索某个关键词时，精确率高的系统意味着返回的结果相关性高。
医学诊断：在某些医疗场景下，如果假正类的后果比假负类更为严重（例如误诊为患有某种疾病），那么精确率就非常重要。我们希望模型预测为患病的人大多数确实患病，而不是误报。