机器学习模型性能评估(三):代价曲线

机器学习——代价敏感错误率与代价曲线 首先,你需要明确定义每种错误分类的代价。代价矩阵(cost matrix)是一个二维矩阵,其中的每个元素表示将真实类别i的样本错误地分类为类别j的代价。这个矩阵应该根据你的问题领域和需求来定义。 阅读详情
AI摘要

本文深入探讨了基于非均等损失代价的模型性能评估方法,包括代价敏感错误率和代价曲线,详细解析了如何在不同分类错误损失代价下评估模型泛化能力。

上文详细介绍了P-R曲线与ROC曲线的性能评估方法,P-R曲线与ROC曲线是基于均等损失代价的模型性能评估方法,本文承接上文,详细介绍基于非均等损失代价的模型性能评估方法,并对已介绍的性能评估方法进行了总结。

                                                                                       2.4 代价敏感错误率


前面介绍的性能评估方法都默认了一种情况,即学习模型把正样本误分为负样本的损失代价与负样本误分为正样本的损失代价相同,实际情况可能是不同类型的分类错误造成的损失代价不同。

比如医疗诊断中,若一个正常人误诊断为癌症病人,那么会给测试者造成了很大的心理压力以及花费很长时间去做进一步的检查;若一个癌症病人误诊断为正常人,那么病人很可能因此丧失生命,显然,癌症病人误诊断为正常人的损失代价要大的多。

若在评价学习模型性能时考虑不同类分类错误所造成不同损失代价的因素时,称为代价敏感错误率评估方法。

假设训练数据集D包含正例子集D+和负例子集D-。若分类错误的损失代价相同,即均等代价。代价矩阵如下:

                                                                       

模型的代价敏感错误率:

                                                

分类错误的损失代价不相同,即非均等代价。如下图,其中costij表示将第i类样本预测为第j类样本的代价。

若预测正确,则代价为0,即costii = 0。一般用1代表正类,0代表负类。

代价矩阵如下:

                                                                

模型的代价敏感错误率:

                                            

该定义是计算模型损失代价的一般化,若分类错误的损失代价相同,令cost10 = cost01 = 1,则与之前的代价敏感错误率表达式一致。

不管是使用何种损失代价函数,构建模型最优化都等价于最小化代价敏感错误率。

 

                                                                                               2.5 代价曲线


ROC曲线在均等代价(分类错误的损失代价相同)的前提下反映学习模型的泛化能力,“代价曲线”是在非均等代价的前提下反映学习模型的期望总体代价。期望总体代价越小,则模型的泛化能力越强。

代价曲线的横坐标是样例为归一化的正例概率代价,正例概率为p,给定的正例概率为先验概率,范围为0~1,纵轴是归一化的损失代价。代价曲线研究的是正样本先验概率和损失代价的关系。

归一化的正例概率代价:

                                                     

这个表达式与周老师《机器学习》稍微有点不同,但含义是相同。习惯用1代表正样本,0代表负样本。

正例概率代价:

                                                                       

总概率代价:

                                                              

因此,经过归一化的正例概率代价的表达式,归一化的作用是使正例概率代价的取值范围为[0,1]。

模型归一化代价:

                                                      

模型总概率代价:

                                                    

模型总概率代价最大值:

                                                               

周老师《机器学习》对模型归一化代价描述的比较精炼,可能很多童鞋不是很清楚具体推导细节,本节详细的解释了模型代价和总体期望代价的推导过程。

模型代价和期望总体代价

模型归一化代价的分母项是归一化项,分析模型归一化代价的时候,只考虑分子项,归一化项可理解为常数,不影响模型的理解。

假设正样本的先验概率:p

模型代价:

                                                   

二分类问题中,ROC曲线的每个点对应一个分类器,分类器可用阈值表示为:

                                              

x为测试样本,学习模型为f,当学习模型预测测试样本为正样例的概率大于等于η,则测试样本的预测结果为正例,即H1;反之,预测结果为负样本,即H0。

FNR:假负例率,即已知测试样本是正样本,测试结果是负样本的概率。

                                                 

FNR为条件概率。

TNR,FPR,TPR的表达式也可以通过条件概率的形式给出:

                                                 

正例先验概率p,负例的先验概率(1-p)。结合正例先验概率,那么当输入为正例,测试结果为负例的联合概率分布(joint probability distribution)。

                                              

其他联合概率分布也可推导:

                                              

所以模型的期望损失代价:

      

期望损失代价是由正例先验概率和混淆矩阵决定的,当ROC曲线的阈值确定时,FPR和FNR也相应的确定。因此,代价曲线是一条直线,不同的代价曲对应不同的分类器。

因此,代价曲线如下图:

                                                  

其中,灰色的阴影部分为模型的期望总体代价,期望总体代价越小,则模型的泛化性能越好;反之,模型泛化性能越差。

期望总体代价的意义:正例先验概率下学习模型的最小损失代价,并对所有正例先验概率下的最小损失代价求和。

 

期望总体代价计算步骤:

  • 取ROC曲线上的每一点,计算相应的FNR,FPR。FNR和FPR在已知的情况下,归一化代价是一条随正例概率变化的直线。因此,代价曲线是一条直线,ROC曲线每个点都对应一条代价曲线。

  • 对于给定的正例概率p,取所有代价曲线在该频率下的最小值,然后求该最小值与正例概率所围成的面积,得到如上图所示的阴影曲线。

                                                        

期望总体代价流程图:

                                                                      

证明:在FPR和FRN已知的情况下,代价曲线是一条直线

                                                           

                                                                                            3、 总结


本文首先介绍了期望和均值的概念,均值是抽样数据的统计量,期望是总体分布的统计量,由大数定律可知,当抽样数据无穷大时,样本均值等于总体期望。

其次介绍了机器学习模型性能评估方法,评价机器学习模型性能的金标准是模型的泛化能力。

常用测试样本的精度来评价模型的泛化能力,这样做的缺点在于:

(1)测试样本具有随机性,不同测试样本的精度很可能不一样,评价泛化能力存在偏差;

(2)若测试样本的正负样本数据集比例不平衡,用精度评价泛化能力存在很大的缺陷。

若模型的实际场景应用需要重点考虑查准率和查全率的因素,P-R曲线是通过查准率和查全率的角度来评价模型的性能,可通过Fβ来度量模型性能;

ROC曲线是无任何限制条件下评价模型泛化性能的好坏,度量标准是面积大小;若需要考虑分类模型产生的非均等损失代价问题,可通过代价曲线的期望总体代价作为度量标准。

机器学习模型性能评估框架:

                              

参考:周志华 《机器学习》

                                                                        

机器学习-02 模型的评估与选择 2.1 误差与过拟合 我们将学习器对样本的实际预测结果与样本的真实值之间的差异成为:误差(error)。定义: 在训练集上的误差称为训练误差(training error)或经验误差(empirical error)。 在测试集上的误差称为测试误差(test error)。 学习器在所有新样本上的误差称为泛化误差(generalization error)。 显然,我们希望得到的是在新样本上表现得很好的学习器,即泛化误差小的学习器。因此,我们应该让学习器尽可能地从训练集中学出普适性的“一般特征”,这 阅读详情

相关推荐

ROC曲线与“代价曲线”(cost-curve)的探究(1)

引言   很多分类器是为测试样本产生一个实值或概率预测,然后将这个预测值与一个分类阈值进行比较,若大于阈值则分为正类,否则为负类。   在不同的应用任务中,根据实际需要,可以选择不同的阈值。如果我们更加重视“查准率(Precision Rate)”,那么可以将阈值选得较大;如果我们更重视“召回率(Recall Rate)”,那么可以将阈值选得较小。   当样本分布给定的时候,对于特定的阈值,我们都可以用该分类器进行测试,计算出真正例率(True Positive Rate,简称TPR,TPR=TPTP+FN

xiaoyi1888的博客 2534

【转】代价曲线的理解

主要参考: 机器学习(周志华)第2.3.4节中,代价曲线的理解? - xf3227的回答 - 知乎 https://www.zhihu.com/question/63492375/answer/247885093 模型评估与选择(后篇)-代价曲线 文章目录基本概念定义:代价直线(未归一化):代价直线(归一化)代价曲线 基本概念定义: 注意这里的类别定义有所不同,将第0类作为正类,第1类作为反类。...

twt9628的博客 5645

机器学习笔记三——模型评估与选择2——性能度量(分类问题)

适用于分类问题中的性能度量1、错误率和精度2、查准率,查全率,F13、ROC 与 AUC 对学习器的泛化性能进行评估,不仅需要有效可行的实验估计方法,还需要有衡量模型泛化能力的评价标准,这就是性能度量 (performance measure)。 性能度量反映了任务需求,在对比不同模型的能力时,使用不同的性能度量往往会导致不同的评判结果。这意味着模型的‘好坏’是相对的,什么样的模型是好的,不仅取决于算法和数据,还决定于任务需求。 在预测任务中,给定数据集 D=(x1,y1),(x2,y2),...,(xm,

weixin_45666566的博客 3282

机器学习西瓜书-代价曲线

机器学习西瓜书-代价曲线绘制代码

GinGin1968274261的博客 1903

三、大数据与机器学习-模型性能评估-笔记

要点: 留出法 交叉验证法 自助法 性能度量 PR曲线 ROC和AUC曲线、 代价敏感错误率、 假设检验 T检验 偏差与方差 模型评估方法 泛化误差评估: 训练集 training set : 用于训练模型 验证集 validation setvalidation set : 用于模型选择 测试集 test settest : 用于模型泛化误差的近似 ...

vmdchc的博客 1964

评估分类模型性能:ROC曲线和AUC值

ROC曲线和AUC值

qq_43629945的博客 1677

机器学习模型评估:关键指标、代价分析与比较检验

本文详细介绍了机器学习模型评估中的关键指标,如混淆矩阵、查准率、查全率、ROC曲线和AUC,同时阐述了代价敏感错误率与代价曲线的概念,最后介绍了常见的比较检验方法。

2501_90186640的博客 847

机器学习模型的泛化能力:代价曲线分析的关键指标

1.背景介绍 机器学习(Machine Learning)是一种通过从数据中学习泛化规则的方法,以便在未见过的数据上进行预测或决策的技术。在机器学习中,我们关注的核心问题是如何使模型在训练数据上达到最佳的性能,同时在未见过的数据上具有良好的泛化能力。这就引出了关于代价曲线分析的关键指标,即如何衡量模型在训练集和测试集上的性能,以及如何在训练集性能和测试

AI天才研究院 1186

【机器学习基础】机器学习的模型评估(评估方法及性能度量原理及主要公式)

机器学习模型评估是机器学习领域中的一个重要研究方向,其研究背景在于随着大数据时代的到来,人们面临着越来越多的数据分析和处理任务,而机器学习作为一种高效的数据处理技术,在很多领域都得到了广泛应用。然而,机器学习模型的效果评估是机器学习应用过程中一个非常关键的问题,因此机器学习模型评估的研究具有非常重要的意义。

z135733的博客 2万+

安卓 实现灯光闪过效果

有个小需求,给按钮加一个灯光划过的效果,这样的需求一般有UI,肯定就找UI了要个gif图不就完事了,可是这次没有,好久自己做一个嘛。Web端的大佬实现很快,到安卓这边呢,百度一搜发现诶?怎么没有,好吧自己来一个 一切动效相关的不给图看都是耍流氓 所以俺不能这么干啊,OK!直接上效果图,再来解释下怎么实现的 效果就是这样子,怎么实现呢? 从图分析下,就是一个光写着重左边移动要右边循环嘛,这有啥难的?? 来看一看我的第一版,第二版 这是个什么?????一点都不像啊? 赶紧再问了问Web端大佬,噢,加了一个

SummerCloudXT的博客 1382

「模型部署系列」ubuntu 使用vllm部署Qwen3-8B模型

解决这个问题的方法正如错误信息中所提示的,需要在命令行中显式地设置。下载单个文件到指定本地文件夹(以下载README.md到当前路径下“dir”目录为例)解决:这表明你正在使用的 Tesla T4 GPU 的计算能力为 7.5,而。,用于获取更详细的 NCCL 调试信息,当所有其他问题排除,可尝试增加。1、下载vllm v0.8.5(此处已经下好了,去仓库拉资源)在下载前,请先通过如下命令安装ModelScope。,这一错误最终致使引擎进程启动失败。更多更丰富的命令行下载选项,可参见。

汪依帆的博客 5048

代价曲线与预测错误总体代价:机器学习的关键挑战

1.背景介绍 机器学习是人工智能领域的一个重要分支,它旨在让计算机自主地学习和理解数据,从而进行预测和决策。在过去的几十年里,机器学习已经取得了显著的进展,但仍然面临着一系列挑战。这篇文章将深入探讨一个关键的挑战:代价曲线与预测错误总体代价(Cost Curve and Total Cost of Prediction Errors, TCPE)。 代价曲线是机器学习模型的一个关键性能指标,它...

AI天才研究院 1015

神经算子:突破科学计算瓶颈的函数空间映射技术

神经算子(Neural Operators)是深度学习在科学计算领域的重要突破,它从根本上改变了处理连续物理问题的方式。与传统神经网络学习离散数据点映射不同,神经算子学习的是函数空间到函数空间的映射,这种范式转换使其具备离散化收敛性和超分辨率预测能力。在计算流体力学、天气预报等需要求解偏微分方程的场景中,神经算子能够在保持精度的同时将计算速度提升数个数量级。傅里叶神经算子(FNO)通过快速傅里叶变换实现高效计算,特别适合规则网格问题;而图神经算子(GNO)则擅长处理不规则网格和复杂几何形状。这种技术为参数敏

cuililai5127的博客 446

5.ROC-AUC机器学习模型性能的常用的评估指标

机器学习的相关评估指标--ROC-AUC曲线

qq_37977007的博客 2451

PCIe协议之 Equalization篇 之 理论篇 之 FFE

作为最后一道“精加工”工序,DFE利用其不放大噪声的优势,精准地消除残余的、强烈的后光标ISI,最终得到一个非常干净、张得很开的眼图,供判决器使用。信号经过信道衰减后变得模糊,首先由CTLE进行“粗调”,提供一个宽频带的增益,将眼图初步打开,为后面的DFE创造一个可以正常工作的信号环境。,它通过将输入信号在不同时间点上的多个副本(称为“抽头”)进行加权求和,来直接塑造或“整形”输出信号的波形。:这是最主要的信号路径,通常系数为正值,决定了信号的幅度。:将所有加权后的信号相加,产生最终的均衡输出。

那么菜的博客 757

Fakra连接器封装的PCB处理方式分析与总结

以往的项目中,关于Fakra连接器封装焊盘的PCB处理方式一直未有明确的规则定义,不同的处理方式,产生的效果各不相同,严重影响到设计的一致性,为此,本文针对这一设计上的缺陷进行了量化分析: 以十层板设计为例,分别从插入损耗(IL)、回波损耗(RL)、特性阻抗(Z0)三个维度进行了分析对比,最终,总结出适合的PCB设计规则,并且,该规则也适用于十层以外的叠构设计。

一只豌豆象的博客 2238

机器学习模型性能评估方法笔记

模型性能评估综述对于模型性能的评估,我们通常分为一下三步: 1. 对数据集进行划分,分为训练集和测试集两部分; 2. 对模型在测试集上面的泛化性能进行度量; 3. 基于测试集上面的泛化性能,依据假设检验来推广到全部数据集上面的泛化性能数据集的划分对于模型来说,其在训练集上面的误差我们称之为“训练误差”或者“经验误差”,而在测试集上的误差称之为“测试误差”。因为测试集是用来测试学习期对于新样本的

wolfrevoda的专栏 2万+

药物对接仿真软件:HADDOCK_(9).结果分析方法

HADDOCK是一种强大的药物对接仿真工具,通过对生成的输出文件进行详细的分析,我们可以验证仿真结果的可靠性,并为进一步优化药物设计提供依据。常见的分析方法包括解读输出文件、使用可视化工具进行结构分析、评估对接模型的稳定性和准确性等。通过这些步骤,我们可以更全面地了解受体和配体的结合模式,从而提高药物设计的成功率。

kkchenjj的博客 1009

模型评估与选择(后篇)-代价曲线

看博客上都在说书上关于代价曲线的介绍太过于简单,只考书中的内容无法理解,我当时看完竟然咩有这种感觉,看来功力是完完全全的不够啊!建议大家看原论文(有30多页,我没去看,有时间的朋友可以阅读一下) 知乎上这个版主的回答很好 机器学习(周志华)第2.3.4节中,代价曲线的理解?2017/11/17号更新的,有幸在写这篇之前看到^_^主要参考博客: 1.西瓜书《机器学习》阅读笔记4——Chapt

qingyun_wudaoletu的博客 1万+

OPTEE常见13类问题与解答

OPTEE常见13类问题并解答

AI-安全-功耗 1205

软件崩溃时Visual Studio中看不到有效的调用堆栈,使用Windbg动态调试去分析定位

当在Visual Studio中遇到软件崩溃且无法查看详细调用堆栈时,可以使用Windbg进行动态调试去分析定位问题。

dvlinker的技术专栏 1万+

机器学习——模型评估

模型评估是对训练好的模型性能进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。

hh3023241040的博客 2353

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

细说机器学习算法之ROC曲线用于模型评估

ROC曲线(Receiver Operating Characteristic curve)是一种用于评价分类模型性能的工具,尤其适用于二分类问题,在多分类问题上也有相对广泛的应用。通过在不同阈值下计算模型的真阳性率(True Positive Rate, TPR)和假阳性率(False Positive Rate, FPR)来全面评估分类器的表现,随着机器学习的发展,尤其是在医疗诊断、欺诈检测和金融风险控制等领域,ROC曲线成为衡量分类器性能的标准方法。

qq_65664454的博客 2015

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

简单聊聊模型的性能评估标准

机器学习入门系列(2)--如何构建一个完整的机器学习项目,第十篇! 该系列的前 9 篇文章: 机器学习入门系列(2)--如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理(上) 特征工程之数据预处理(下) 特征工程之特征缩放&特征编码 特征工程(完) 常用机器学习算法汇总比较(上) 常用机器学习算法汇总比较(中) 常用机器学习算法汇总比较(...

weixin_33795833的博客 4008

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

机器学习模型评估:ROC曲线与PR曲线

实际为正类的样本中,被模型正确预测为正类的比例。

2301_80216997的博客 1002

机器学习:模型评估

欠拟合(Underfitting):模型太“笨”,没学明白。过拟合(Overfitting):模型太“聪明”,把题都死记硬背了,结果考试不会用。模型在训练集上表现就不好,说明它没学到数据的规律,太简单了。模型在训练集上学得很好,但测试集上表现很差——它不是学懂了,而是背答案了!欠拟合——模型太蠢,学不懂过拟合——模型太聪,死记硬背解决欠拟合——换复杂模型,多训练解决过拟合——模型降智,加数据,做正则。

riririch的博客 1190
上一篇: 机器学习模型性能评估(二):P-R曲线和ROC曲线
下一篇: 模型优化的风向标:偏差与方差
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值