机器学习模型评估方法

分类机器学习模型的评估方法及性能度量 当我们创建一个机器学习模型,然后通过该模型输出结果,那我们会不会直接使用这个结果呢? 如果你的答案是:会使用,那你对这个结果完全认可吗? 如果你的答案是否定的,那你对这个结果有哪些疑问呢? 本文从模型评估的方法和性能的度量两个方面来解答以上的疑问,本篇文章主要讨论分类学习模型的评估与性能度量。 模型的评估方法 我们创建的机器学习模型都要通过训练数据来训练模型,为了检测学习模型是否符合我们的要求,就... 阅读详情

实际的机器学习项目中,我们往往只知道包含m个样例的数据集D,D={(x1,y1),(x2,y2),(x3,y3),...(xm,ym)},通过对数据集D进行适当的处理,划分为训练集和测试集,训练集构建模型,然后用该模型计算测试数据集的测试误差,最后以测试集的测试误差近似为模型的泛化能力,根据泛化能力来评价模型的优劣。

我们在构建最优机器模型的前提是假设数据集D是独立同分布的,用抽样的观点来解释就是我们从真实的总体样本中随机抽样m次,得到抽样样本集D,机器学习模型评估方法是讨论如何划分为训练集和测试集的方法,我们可以通过概率学的角度来理解评估方法。

本文中,我们首先引入了数据集概率分布的概念,然后逐一介绍目前常用的模型评估方法,最后对这些方法进行总结。

 

                                                                              1、数据集的概率分布


假设总体样本服从某一分布P(X),数据集D是从总体样本中独立随机抽样m次获取的,数据集D={(x1,y1),(x2,y2),(x3,y3),...(xm,ym)}。

数据集D的概率分布:

                                            

若再次从总体样本随机抽样m次得到数据集D1,数据集D1 = {(x1’,y1),(x2’,y2),(x3’,y3’),...(xm’,ym)},若数据集不同,那么用数据集构建的最优模型也有所不同。

                                                                                2、模型评估方法


模型评估方法是对数据集D如何划分为训练集S和测试集T的方法,目前常见的做法有留出法、交叉验证法和自助法。

2.1 留出法

“留出法”(hold-out)直接将数据集D划分为两个互斥集合,其中一个集合为训练集S,另一个作为测试集T,即 

                                                                      

训练集S具体划分为训练集和验证集,训练集构建模型,验证集对该模型进行参数择优,选择最优模型,测试集T测试最优模型的泛化能力。

训练集和测试集的划分要尽可能保持数据分布的一致性,避免因数据划分过程引入额外的偏差而对最终结果产生影响。如数据集D包含500个正样本,500个负样本,数据集D划分为70%样本的训练集和30%样本的测试集,为了保证训练和测试正负样本的比例与数据D比例相同,采用分层抽样的方法,先从500个正样本随机抽取350次,500个负样本随机抽取350次,然后剩下的样本集作为测试集,分层抽样保证了训练集的正负样本的比例与数据集D的正负样本比例相同。

留出法的另一个问题是训练集S和测试集T是从数据集D随机抽样得到的,因此偶然因素较大,需要多次进行留出法计算每次的测试误差率,然后对每次的测试误差求平均(如下图),减小偶然因素。

                                      

                                                                                图1  平均留出法

 

初始数据集D的概率分布:

                                                                     

第一次留出法抽样的训练集的概率分布:P(S1)

留出法的训练集只包含了一定比例的初始数据集,留出法训练数据集S1和初始数据集D的概率分布不一样,因此用留出法估计的模型存在估计偏差。

2.2 交叉验证法

“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集

                                          

每个子集Di通过分层采样得到(如上节所述,为了保证正负样本的比例与数据集D的比例相同),然后用k-1个子集的并集作为训练集,余下的子集作为测试集;这样就获得k组训练/测试集,从而进行k次训练和测试,最终返回的是这k个测试结果的均值。通常把交叉验证法称为”k折交叉验证法“,k最常用的取值是10,此时称为10折交叉验证。下图为10折交叉验证的示意图。

                                          

初始数据集的概率分布:

                                          

十折交叉验证的第一折的训练集的概率分布:

                                        

十折交叉验证的训练集只包含了初始数据集的90%,训练数据集D’和初始数据集D的概率分布不一样,因此用十折交叉验证估计的模型存在估计偏差。

若数据集D包含m个样本,先将数据集D划分为m个大小相似的子集,每个子集只有一个样本数据,则得到了交叉验证法的一个特例,留一法(Leave-One-Out,简称LOO)。因为留一法的训练数据集相比原始样本数据集D只少了一个样本,因此留一法的评估结果比较准确。但是留一法在训练数据比较大时,训练m个模型的计算开销可能是难以忍受的(例如数据集包含1百万个样本,则需训练1百万个模型),若考虑模型参数优化的情况下,计算量则会成倍的增加。

2.3 自助法

我们希望评估的是用原始数据集D训练出的模型,但是留出法和交叉验证法训练的数据集比原始的数据集D小,这必然会引入因训练数据集不同导致的估计偏差,留一法受训练样本规模变化的影响较小,但是计算复杂度太高。

”自助法“(bootstrapping)是有放回抽样,给定包含m个样本的数据集D,我们对它进行采样产生数据集D’:每次随机从D中挑选一个样本,将该样本拷贝放入D’,然后再将该样本放回初始数据集D中,下次抽样时仍有可能被采到;重复执行m次该过程,我们就得到了包含m个样本数据集D’,这就是自助采样的结果。初始数据集D中有一部分样本会在数据集D’中多次出现,也有一部分样本不会在数据集D’中出现。

样本在m次采样中始终不被采到的概率是:

                                                                  

对m取极限得到:

                                                                   

 

    上式可知,通过自助采样,初始数据集D中约有36.8%的样本未出现在采样数据集D’,于是我们可将D’用作训练集,实际评估的模型与期望评估的模型都使用m个训练样本,我们仍有数据总量约1/3的、没在训练集中出现的样本作为测试集用于测试,这样的测试结果,亦称”包外估计“(out-of-bag estimate)。

自助法在数据集较小、难以有效划分训练/测试集时很有用;此外,自助法能从初始数据集中产生多个不同的训练集,这对集成学习(强学习分类器)等方法有很大的好处,然而,自助法产生数据集改变了初始数据集的分布,这会引入估计偏差(如下图)。

数据集D分为D1,D2,D3,D4数据集,假设知道自助采样的数据集结果,比较自助法采样产生的数据集分布和初始数据集的分布。

                                                           

由上述表达式可知道,初始数据集与自助采样数据集D1’、自助采样数据集D2’的概率分布不一样,且自助法采样的数据集正负类别比例与原始数据集不同,因此用自助法采样的数据集代替初始数据集来构建模型存在估计偏差。

 

                                                                                    3、讨论


本文讨论了三种机器学习模型评估方法;留出法、交叉验证法和自助法。留出法和交叉验证法虽然通过分层抽样的方法没有改变初始数据集正负类比的比例,但是训练数据集的样本数少于原始数据集,训练数据集的概率分布与原始数据集的概率分布不一样,因此留出法和交叉验证法在构建模型时存在估计偏差;自助法虽然样本容量和初始数据集一样,但是改变了初始数据集的分布和正负类别比例,用自助法抽样的数据集分布来代替初始数据集的分布,同样存在估计偏差。

因此,若对于小样本的数据集,个人建议采用自助法抽样的方法,然后用强训练分类器构建模型;若对于大一点的样本数据集则建议采用十折交叉验证法,超大样本数据及则建议采用留出法构建模型。

                                            

参考:

《机器学习》  周志华著  清华大学出版社

                                                        

机器学习中的模型评估方法和指标 机器学习模型的评估方法和指标 1、选择怎样的评估指标 1.1 Online metrics vs Offline metrics Online metrics是直接在线上环境做AB测试,比较两个实验组的核心指标,比如CTR、转化率等。 Offline metrics是希望在模型上线之前,使用历史数据进行效果评估。离线指标有些是纯数学模型指标,有些是结合实际问题的量化指标。 1.2 单值评估指标 vs 多值评估指标 单值评估指标清晰明了,有利于最终的评估。如果有多个指标都是很重要的,可以将这多个值 阅读详情

相关推荐

机器学习模型的评估方法

机器学习分类模型的评估方法 机器学习模型简单分为回归模型与分类模型,回归模型与分类模型的预测类型一个是连续的变量,一个是离散的变量。这使得评估的方法各有不同。 对于分类模型判断一个西瓜是不是成熟的,按照机器学习的方法我们需要采集关于西瓜的一系列数据,这些数据比如西瓜的颜色,大小等特征还有每个西瓜是否成熟的标签,然后选择模型,将数据划分为测试集与训练集,利用测试集训练模型。这个时候我们已经得到了一个根据西瓜的颜色、大小等特征预测西瓜是否成熟的模型了。 为了测试模型的质量,我们将测试集的特征数据输入模型得到一系

icodeblocks的专栏 634

深度 | 机器学习中的模型评价、模型选择及算法选择

作者:Sebastian Raschka翻译:reason_W编辑:周翔简介正确使用模型评估、模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要。本文将对这三个任务的相关技术进行回顾,并就每种技术的理论和实证研究的主要优缺点进行讨论。文章还将就机器学习算法中的超参数调优给出尽可能的建议,用以实现最佳的算法效果。文中内容涉及很多常用方法,比如模型评估和选择中的Holdout方法

AI科技大本营 1万+

机器学习之模型评估方法与准则

机器学习之模型评估方法与准则

学习中 1608

模型评估笔记

模型评估是模型开发过程的不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。在数据挖掘中,使用训练集中的数据评估模型性能是不可接受的,因为这易于生成过于乐观和过拟合的模型。数据挖掘中有两种方法评估模型,验证(Hold-Out)和交叉验证(Cross-Validation)。为了避免过拟合,这两种方法都使用(模型没有遇到过的)测试集来评估模型性能。 验证(Hold-O

abcd1f2的专栏 8485

机器学习之模型评估方法总结

一、分类模型评估 1、混淆矩阵(confusion matrix) 2、ROC 3、AUC 二、回归模型评估 1、SSE(和方差) 2、MSE(均方差) 3、RMSE(均方根、标准差) 4、R-Squared(确定系数) 5、MAE(平均绝对误差) 6、交叉验证(Cross-Validation) 一、分类模型评估 1、混淆矩阵(confusion matrix) ......

平原的博客 7899

关于机器学习模型的评估方法

当我们辛苦搭建了一个模型后,如何能够知道我们的模型是否好用呢?这就需要了解具体的模型评估方法,本文将分别介绍机器学习中常见的两类问题(分类问题、回归问题)的模型评估方法。

白话机器学习 3961

机器学习之模型常用评估方法

一、留出法 定义:直接将集合划分为两个互斥的集合,其中一个作为训练集合,一个作为测试集合 1、测试集合和训练集合尽可能保持数据分布的一致性,比如要保证正反样本的比例不变 2、在给定了训练/测试集合的样本比例之后,仍要存在多种的划分方式,对数据集合D进行分割。 二、交叉验证法(无放回的重采样) 定义:将数据集D划分为k个大小相似的互斥子集。每次利用k-1个子集进行训练,然后用剩下的那个子集作为测试集,这样就可以获得k组训练/测试集,最终返回的是k个结果的均值。有一个特例留一法。 在处理较小的数据集合的时候我们

Jeremy_lf的博客 1918

深入详解机器学习基础中的模型评估方法

深入详解机器学习基础中的模型评估方法

编程技术探索者,分享C/C++、C#、Java、数据库等开发经验,聚焦实战技巧与AI兴趣,助力编程爱好者成长。 2401

一文深度解读机器学习模型的评估方法

① 综合各类别的准确度:准确率accuracy对于分类错误情况的描述是比较直接的,但是对于正负例不平衡的情况下,accuracy评价基本没有参考价值,比如 欺诈用户识别的分类场景,有950个正常用户样本(负例),50个异常用户(正例),模型把样本都预测为正常用户样本,准确率是非常好的达到95%。但实际上是分类效果很差。

Python数据挖掘 1625

手把手教你用Arduino Uno控制meArm机械臂(附完整代码+避坑指南)

本文提供了一份详尽的meArm机械臂控制指南,涵盖从Arduino Uno硬件连接到Servo库编程的完整流程。重点讲解了如何通过独立供电、软件限位和平滑运动函数实现稳定控制,并设计了串口指令协议与高级功能,帮助创客有效规避舵机抖动、电源不足等常见问题,让机械臂运行更流畅可靠。

gpt4scribbler的博客 542

SolidWorks草图绘制实战:如何用图片参考快速搞定智能小车底板设计

本文详细介绍了在SolidWorks中利用图片参考进行草图绘制的实战方法,以智能小车底板设计为例,帮助设计师快速将概念转化为精准三维模型。通过插入、对齐参考图片并高效描图,结合参数化约束与尺寸驱动,大幅提升设计效率和准确性,尤其适合新手入门与老手优化工作流。

rust6ferris的博客 220

机器学习-评估方法

(2)单次使用留出法得到的估计结果往往不够稳定可靠,在使用留出法时,一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。过拟合:学习器把训练样本学得“太好”了的时候,很可能已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质,这样就会导致泛化性能下降。留一法的评估结果往往被认为比较准确,但在数据集比较大时,训练m个模型的计算开销可能是难以忍受的。将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T。留一法:假定数据集D中包含m个样本,令k=m。

deanr的博客 390

永久关闭Windows更新的5种方法

很多家用电脑,如果系统自动更新的话,会变得越来越卡顿,且硬件型号兼容也并不完美。那么我们该如何彻底关闭Win11的自动更新呢?以下准备了5种方法,您可以根据自身实际情况选择合适的方法!

qq_43652793的博客 1万+

机器学习模型评估方法:Start Machine Learning教你如何验证AI模型性能

想要构建可靠的AI系统?机器学习模型评估是关键环节!😊 无论你是初学者还是经验丰富的开发者,掌握正确的模型评估方法都能让你的AI项目更加成功。Start Machine Learning项目提供了完整的机器学习学习路径,帮助你从零开始掌握模型验证技巧。 ## 为什么模型评估如此重要? 在机器学习项目中,**模型评估**不仅仅是检查准确率那么简单。它关系到你的AI系统是否真正可靠、是否能够在真

gitblog_01000的博客 985

VPS环境搭建及配置

VPS(Virtual Private Server)是一种虚拟化技术,可以将一台物理服务器分成多个虚拟服务器,每个虚拟服务器都有独立的操作系统和资源,相互之间互不影响。VPS可以提供类似于独立服务器的功能,但价格更便宜,适合中小企业和个人用户使用。VPS可以用于网站托管、应用程序部署、游戏服务器、数据备份等各种场景。

YJ_12340的博客 1万+

微信小程序 - 解决web-view嵌套H5网页白屏问题,将h5网页嵌套在webview页面出现无法加载一片空白,详解微信小程序<web-view>页面跳转出现白屏情况(无论本地还是线上H5都能解决)

微信小程序解决web-view打开网页在手机上出现白屏的问题,小程序web-view嵌套H5项目白屏问题分析及解决,使用web-view组件加载H5网页链接后白屏情况,小程序嵌套的h5网页中跳转页面时也有可能出现白屏问题,嵌套webview页面时,出现白屏,WebView 加载不出网页,微信小程序<web-view>页面跳转出现白屏解决方法,解决WebView白屏空白,H5内嵌第三方小程序打开白屏,微信小程序嵌入h5页面加载空白,微信小程序web-view跳转h5白屏,解决微信小程序web-view打开网页

🏆 前端领域优质创作者 1万+

机器学习模型评估方法总结

以上是机器学习模型的常见评估方法和相应的代码示例。这些方法适用于不同类型的机器学习任务,包括分类、回归、聚类和时间序列分析。选择合适的评估指标对于理解和改进模型至关重要。机器学习模型的评估对于理解其性能和适用性至关重要。本问将介绍常见的机器学习模型评估方法,并提供代码和数据示例。准确度是最直观的分类性能指标,表示模型正确预测的比例。MSE是衡量回归模型平均误差平方的指标。混淆矩阵提供了分类模型性能的详细视图。轮廓系数衡量聚类的紧密程度和分离程度。R²衡量模型解释数据的能力。

weixin_43456772的博客 1345

把 ABAP Unit 测试放进本地类:让重构更安全、让测试更好找的组织方式

ABAP测试代码组织策略:单元测试与集成测试的合理存放位置 本文针对ABAP开发中测试代码组织混乱的问题,提出了一套系统化的解决方案: 单元测试应存放在被测类的本地测试include中(...CCAU或...T99),确保测试与代码同步演进且易于发现 跨对象测试(组件/集成/系统测试)应创建单独的全局测试类,并通过FOR TESTING和ABSTRACT进行防护 使用! @testing注释建立测试关系,使测试与被测对象明确关联,提高可发现性 针对不同技术栈(RAP/CAP/OData)提供了具体落地建议,

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1732

【机器学习模型评估】 机器学习模型的评估方法与指标

机器学习模型评估的目的是衡量模型在训练集和测试集上的表现,确保模型具有良好的泛化能力。通过科学的评估方法和指标,可以了解模型的性能,发现潜在的问题,并进行相应的优化。通过上述方法和策略,可以科学地评估和优化机器学习模型,确保模型在实际应用中的高效性和可靠性。在实际项目中,评估和优化是一个持续的过程,需要不断地进行改进和调整,以应对不同的数据和业务需求。交叉验证是一种更为稳健的评估方法,通过将数据集划分为多个子集,进行多次训练和测试,得到平均的评估结果。我们将使用上述评估方法和指标,评估模型的性能。

weixin_39372311的博客 1262

智元机器人开源具身仿真框架 Genie Sim 入门教程

GenieSim是AgiBot推出的具身智能仿真框架,提供完整闭环开发管道,包括轨迹生成、模型训练和基准测试。框架支持Docker容器化部署,要求Ubuntu 22.04和NVIDIA硬件环境。主要功能涵盖: 支持12种基准测试任务 提供ADER评估框架 集成UniVLA/RDT等基线模型 支持PICO/键盘遥操作 具备轨迹记录回放功能 提供完整API控制接口 开发者可通过Hugging Face获取场景资产,使用标准化ROS主题与仿真环境交互。框架特别优化了碰撞检测和抓取物理模拟,适用于从简单抓取到复杂操

2506_90492529的博客 2544

2025华为OD面试手撕代码真题目录、八股文真题目录以及面试技巧

1. **华为OD面试技术面准备指南** 2. **华为OD面试技术面常见问题解答** 3. **华为OD面试技术面经验分享** 4. **华为OD面试技术面注意事项** 5. **华为OD面试技术面攻略** 6. **华为OD面试技术面模拟题目与解析** 7. **华为OD面试技术面知识点梳理** 8. **华为OD面试技术面常考**

算法大师! 3万+

【机器学习基础】机器学习的模型评估(评估方法及性能度量原理及主要公式)

机器学习模型评估是机器学习领域中的一个重要研究方向,其研究背景在于随着大数据时代的到来,人们面临着越来越多的数据分析和处理任务,而机器学习作为一种高效的数据处理技术,在很多领域都得到了广泛应用。然而,机器学习模型的效果评估是机器学习应用过程中一个非常关键的问题,因此机器学习模型评估的研究具有非常重要的意义。

z135733的博客 2万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

机器学习模型评估指标详解:Machine Learning Refined质量评估方法

机器学习模型评估指标是衡量算法性能的核心工具,而Machine Learning Refined项目提供了从零开始构建机器学习基础概念的完整指南。本文将深入解析机器学习模型评估指标,特别聚焦于Machine Learning Refined项目中介绍的分类质量评估方法。无论你是机器学习新手还是希望巩固基础的专业人士,这些评估指标的理解都是提升模型性能的关键。 ## 📊 为什么模型评估如此重要?

gitblog_00070的博客 806

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

简述机器学习中模型的评估方法

Class Content layout post title 简述机器学习中模型的评估方法 categories Blog description 模型评估方法主要用于对模型的泛化误差进行评估进而选择最优模型,主要的方法有留出法、S折交叉验证法、自助法 keywords 留出法 交叉验证法 自助法,以及对应的代码 ...

毛毛虫_Wendy的博客 793

机器学习模型 知乎_机器学习:模型评估之评估方法

​机器学习已经成为了人工智能的核心研究领域之一,它的研究动机就是为了让计算机系统具有人的学习能力以便实现人工智能。目前,关于机器学习定义的说法比较多,而被广泛采用的定义是“利用经验来改善计算机系统自身的性能”​。由于“经验”的主要存在形式便是数据,因此机器学习就需要运用机器学习技术对数据进行分析。机器学习技术是机器学习的主要研究对象,包括:线性学习、支持向量机学习、神经网络学习、决策树学习、贝叶斯...

weixin_29644109的博客 209
上一篇: 非参数正态性检验
下一篇: 机器学习模型性能评估(一):错误率与精度
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值