召回度、准确度

四个名词:

真正例 True Positive     TP: 被预测为真,实际为真的样本  

假正例 False Positive    FP: 被预测为真,实际为假的样本  

真负例 True Negative     TN: 被预测为假,实际为假的样本  

假负例 False Negative    FN: 被预测为假,实际为真的样本  

准确率 (Accuracy) 计算公式:(TP + TN) / (TP + FP + TN + FN)

意义:被正确预测的样本占总样本的比例

缺陷:尽管准确率是一个很直观的指标,但在数据不平衡的情况下,它可能会产生误导。

召回率 (Recall) 计算公式:TP / (TP + FN)

意义:在所有实际为真的样本中,被我们预测为真的样本的比例

召回率是针对样本而言,即:样本中的正例有多少被拿出来。

理解:TP就是真实的正例,FN就是实质上是正例,但算法误判是负例。这样算法就有可能把一些正例给误排除掉了。

换一种说法,有一种黄金和砂子的混合物。把黄金挑出来。由于算法可能误把一些黄金认为是砂子所以扔掉了(FN)。RR评估了算法拿出目标的能力,不要漏拿。

    如果假负例的成本很高(例如,在欺诈检测中,没能检测到一个真正的欺诈行为可能导致巨大的财务损失),那么可能更倾向于提高召回率。代价是宁愿误把正常情况拿来立案。

精准度 (Precision) 计算公式:TP / (TP + FP)

意义:在所有预测为真的样本中,实际为真的样本所占的比例

精确度针对预测结果而言。预测为正例当中有多少是真的正例。

理解:FP就是其实是负例,但被算法误认为是正例。这样的结果当中就有可能夹生。

有一种黄金和砂子的混合物。把黄金挑出来。由于算法可能误把一些砂子认为是黄金(FP)所以给拿进来了,出现了夹生的现象。

PR评估了算法拿出来的东西纯不纯正,不要乱拿。

    如果假正例的成本很高(例如,在医疗诊断中,错误地诊断一个健康的人为病人可能会导致不必要的焦虑和进一步的检查),那么可能更倾向于提高精确度。代价是宁愿误把病人放掉。

F1分数 (F1score) 计算公式:2 x (Precision x Recall) / (Precision + Recall)

意义:F1分数是精确度和召回率的调和平均数,它试图在精确度和召回率之间达到平衡

在精确度和召回率同等重要的情况下,F1分数是一个有用的指标。它特别适用于不平衡数据集。

召回率、准确率和准确度都是评估模型性能的重要指标,特别是在分类任务中。 ### 召回率 **定义**:召回率(Recall)衡量的是系统检索到的相关文档占所有应检索到的相关文档的比例。在二分类问题中,它表示真正正类被正确识别出来的比例。公式通常写作: \[ \text{召回率} = \frac{\text{真阳性(TP)}}{\text{真阳性(TP)} + \text{假阴性(FN)}} \] 这里,“真阳性”是指实际属于正类并被正确预测为正类的情况,“假阴性”是指实际上属于正类但实际上被预测为负类的情况。 ### 准确率 **定义**:准确率(Precision)则是指预测为正类的样本中有多少是真的正类。即,系统正确地识别出为正类的数据点所占的比例。公式通常写作: \[ \text{准确率} = \frac{\text{真阳性(TP)}}{\text{真阳性(TP)} + \text{假阳性(FP)}} \] 其中,“假阳性”是指实际上是负类但被错误地预测为正类的情况。 ### 准确度 **定义**:准确度(Accuracy)是最直接的性能指标之一,它是所有正确预测的数量除以总预测数量的结果。公式通常写作: \[ \text{准确度} = \frac{\text{真阳性(TP) + 真阴性(TN)}}{\text{真阳性(TP) + 真阴性(TN) + 假阳性(FP) + 假阴性(FN)}} \] 其中,“真阴性”是指实际不属于正类并且被正确预测为负类的情况。 ### 相关问题: 1. **如何平衡召回率和准确率?** 当需要关注“查全”的情况时(例如,在疾病诊断中,尽可能多地找到患有疾病的病人),优先考虑较高的召回率;反之,当更关心避免误报(例如,垃圾邮件过滤)时,可能需要更高的准确率。 2. **召回率和精确率的区别是什么?** - **召回率**强调是否能找出所有应该找出来的东西; - **精确率**强调从结果集中取出的信息是否有价值,即正确结果的数量占全部返回结果的比例。 3. **在何种场景下,准确度是一个更好的评价指标?** 在数据集非常大且类别分布均匀的情况下,准确度往往可以作为一个较好的评价指标。但是,在不平衡数据集或多标签问题中,仅仅依赖准确度可能会误导对模型性能的理解,此时可能更需结合其他指标如F1分数等一起分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值