如何(以及为什么需要)创建一个好的验证集

PrimeTime low power-多电压设计流程(2) get_power_switches`、`get_supply_nets` 和 `get_supply_ports` 命令的操作方式类似,并具有类似的命令选项。PrimeTime 根据 UPF 命令构建电源供应网络,包括 create_power_domain、create_supply_net、create_supply_set、create_supply_port、set_domain_supply_net 和 connect_supply_net。电源集句柄是为电源域隐式创建的一个抽象电源集。 阅读详情

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”


作者:Rachel Thomas

编译:ronghuaiyang

导读

验证集的划分真的就是调用一个train_test_split函数这么简单么,其实并不是。

一个非常常见的场景:一个看起来非常好的机器学习模型在现实的生产环境中使用时是完全失败的。其后果包括老板对现在的机器学习持怀疑态度,不愿再尝试。怎么会这样呢?

导致开发结果与生产结果之间脱节的最可能的原因之一是错误地选择了验证集(甚至更糟,根本没有验证集)。根据数据的性质,选择验证集可能是最重要的一步。虽然sklearn提供了一个train_test_split方法,但该方法只获取数据的一个随机子集,对于许多实际问题来说,这是一个糟糕的选择。

训练集、验证集和测试集的定义可能非常微妙,而且这些术语有时使用不一致。在深度学习社区中,“测试时间推断”通常指的是对生产中的数据进行评估,这不是测试集的技术定义。如前所述,sklearn有个train_test_split方法,但没有train_validation_test_split方法。Kaggle只提供训练和测试集,但是要做得好,你需要将它们的训练集分解为你自己的验证集和训练集。此外,Kaggle的测试集实际上被细分为两个子集。许多初学者可能会感到困惑,这一点也不奇怪!我将在下面讨论这些微妙之处。

首先,什么是“验证集”?

当创建一个机器学习模型时,最终的目标是使它在新数据上是准确的,而不仅仅是在你用来构建它的数据上可以工作的很好。下面是一组数据的3个不同模型的例子:

under-fitting and over-fitting

图中数据点的误差对于最右边的模型来说是最小的(蓝色曲线几乎完美地通过了红色点),但这并不是最好的选择。这是为什么呢?如果你要收集一些新的数据点,它们很可能不在右边图表的曲线上,而是更接近中间图表的曲线。

其基本思想是:

  • 训练集用于训练给定的模型

  • 验证集用于在模型之间进行选择(例如,随机森林还是神经网络更适合你的问题?)你想要一个有40棵树的随机森林还是50棵树的随机森林?)

  • 测试集告诉你,你做的怎么样。如果你尝试了许多不同的模型,你可能会偶然得到一个在你的验证集上表现良好的模型,而拥有一个测试集有助于确保情况并非如此。

验证和测试集的一个关键属性是它们必须代表你在将来看到的新数据。这听起来似乎是一个不可能的命令!根据定义,你还没有看到这些数据。但你还是知道一些关于这些数据的事情。

什么时候随机的子集不够好?

看几个例子是有益的。虽然这些例子中有许多来自Kaggle竞赛,但它们代表了你在实际工作中所看到的问题。

时间序列

如果你的数据是一个时间序列,选择一个随机的数据子集就太简单了(你可以看看你试图预测的之前和之后的数据日期),并不代表大多数业务样本的情况(实际的业务是使用历史数据建立一个模型用于未来的预测)。如果你的数据包含日期,并且你正在构建一个模型以供将来使用,那么你会希望选择一个连续的部分,其中包含最新的日期作为你的验证集(例如,可用数据的最近两周或上个月)。

假设你想把下面的时间序列数据分成训练集和验证集:

时间序列数据

随机的子集是一个糟糕的选择(太容易填补空白,并不能说明你在生产中需要什么):

训练集的糟糕的选择

使用较早的数据作为训练集(和较晚的数据作为验证集):

训练集的一个更好的选择

Kaggle有个比赛,预测厄瓜多尔杂货连锁店的销售额。Kaggle的“训练数据”从2013年1月1日到2017年8月15日,测试数据从2017年8月16日到2017年8月31日。一个好的方法是将2017年8月1日至8月15日作为你的验证集,并将所有之前的数据作为你的训练集。

新的人员,新的船,新的...

您还需要考虑在生产环境中进行预测的数据可能与您必须训练模型使用的数据在性质上有所不同。

在Kaggle的分心驾驶员竞赛中,数据是驾驶员开车的图片,因变量是一个类别,如发短信、吃饭或安全向前看。如果你是一家根据这些数据构建模型的保险公司,请注意,你最感兴趣的是模型在你以前没有见过的驾驶员身上的表现(因为你可能只有一小部分人的训练数据)。Kaggle竞赛也是如此:测试数据由没有在训练集中使用的人员组成。

同一个人一边开车一边打电话的两张图片。

如果你把上面的一张图片放在你的训练集里,另一张放在验证集里,你的模型看起来会比它在新人身上表现得更好。另一种观点是,如果你让所有的人来训练你的模型,你的模型可能会对那些特定的人的特征过拟合,而不仅仅是学习到状态(发短信,吃东西,等等)。

类似的动态也在“Kaggle渔业竞赛“中发挥作用,该竞争旨在确定渔船捕捞的鱼类种类,以减少对濒危种群的非法捕捞。测试集由没有出现在训练数据中的船只组成。这意味着你希望你的验证集包括不在训练集中的船只。

有时可能不清楚你的测试数据是如何不同。例如,对于使用卫星图像的问题,你需要收集更多的信息,以确定训练集是否只包含特定的地理位置,还是来自地理上分散的数据。

交叉验证的危险

sklearn之所以没有train_validation_test是假定你会经常使用交叉验证,用不同的训练集的子集作为验证集。例如,三折交叉验证,数据分为3组:A、B和C,,模型第一次在A和B组合起来的训练集上训练,在验证集C上评估C ,接下来,模型在A和C组合起来的训练集上训练,在验证集B上评估,等等。模型的表现是三个的平均。

然而,交叉验证的问题在于,它很少适用于现实世界中的问题,原因如上述各节所述。交叉验证只在可以随机打乱数据以选择验证集的情况下有效。

Kaggle的“训练数据集”=你的训练数据+验证数据

Kaggle竞赛的一大优点是,它迫使你更严格地考虑验证集(以便做得更好)。对于那些刚接触Kaggle的人来说,这是一个举办机器学习竞赛的平台。Kaggle通常将数据分成两组,你可以下载:

  1. 一个训练集,其中包括自变量,以及因变量(你试图预测什么)。例如,厄瓜多尔杂货店试图预测销售额,自变量包括商店id、商品id和日期,因变量是卖出的数量。例如,试图确定一个司机是否在开车时做出了危险的行为,自变量可以是司机的照片,因变量是一个类别(如发短信、吃东西或安全向前看)。

  2. 一个测试集,它只有自变量。你将对测试集进行预测,你可以将这些预测提交给Kaggle,并得到你的成绩分数。

这是开始机器学习所需要的基本思想,但是要想做得好,需要理解的复杂性要大一些。你会希望创建自己的训练和验证集(通过分割Kaggle“训练”数据)。你只需使用较小的训练集(Kaggle训练数据的子集)来构建模型,在提交给Kaggle之前,你可以在验证集(Kaggle训练数据的子集)上对其进行评估。

最重要的原因是Kaggle将测试数据分为两组:public和private排行榜。你在public排行榜上看到的分数只是你预测的一部分(你不知道是哪一部分!)你的预测在private排行榜上的表现要到比赛结束后才会揭晓。这很重要的原因是,你可能最终会过拟合public排行榜,直到最后你在private排行榜上表现不佳时,你才会意识到这一点。使用良好的验证集可以防止这种情况。你可以通过查看你的模型在Kaggle测试集上的得分是否与验证集上的得分相似来检查验证集是否良好。

创建自己的验证集很重要的另一个原因是,Kaggle限制你每天只能提交两次,而且你可能希望尝试更多次。第三,看看你在验证集上到底做错了什么是很有启发性的,Kaggle不会告诉你测试集的正确答案,甚至不会告诉你你做错了哪些数据点,只会告诉你你的总成绩。

理解这些区别不仅对Kaggle有用。在任何预测机器学习项目中,你都希望你的模型能够在新数据上表现良好。

英文原文:https://www.fast.ai/2017/11/13/validation-sets/

(完)


解决:请求的资源[/xxx/]不可用 描述 源服务器未能找到目标资源的表示或者是不愿公开一个已经存在的资源表示。 解决:请求的资源[/xxx/]不可用 描述 源服务器未能找到目标资源的表示或者是不愿公开一个已经存在的资源表示。 阅读详情

相关推荐

手把手教你绕过网易易盾验证码:滑块、点选、语序全攻略

本文深度解析了以网易易盾为代表的现代验证码技术,重点探讨了滑块、点选、语序及空间推理等交互式验证码的工作原理与对抗策略。文章从行为验证和空间推理的核心逻辑出发,剖析了验证码交互的数据流与关键参数,并提供了模拟人类行为轨迹、维护设备指纹等工程实践方法,旨在帮助开发者在合规前提下设计更健壮的自动化流程。

3c4x5z6v7b的博客 712

【学习笔记】验证集

这章与其他章不同,开头就给出了我们一个问题,并且称为“检查您的直觉”。与其说,谷歌在检查我们的直觉,不如说,谷歌在检查我们学习后有没有经过思考。如果只是一味的接收新的东西(机器学习概念以及一些代码的用法)。而不去思考这些结构问题的话,可能对我们并没有什么好处。 原文在这里提出了一个尖锐的问题,如果我们针对训练集修改超参数,如果迭代多次的话,我们会不会不经意见拟合了训练集。 虽然我们这里并没有直...

Canon__的博客 940

qt实现程序密钥注册功能,MD5加密+AES加密,并实现一台电脑系统一个密钥

qt实现了一个给自己软件加密的功能。 原理是: 需要被注册的软件第一次运行的时候,在系统的注册表里面注册一个键值,如下: 这个值作为生成密钥的用户识别号,然后生成密钥文件key.db,把这个key.db文件放到软件执行目录下,即可完成软件的注册并正常使用软件。 软件第一次打开的界面及密钥生成工具软件界面如下: 将密钥生成工具软件生成的key.db放到软件执行目录下之后,软件即可正常使用,如下图: 代码使用了MD5加密 外加 AES加密, 解密和加密的核心代码如下: QSt.

weixin_43935474的博客 4131

训练集、验证集和测试集怎么设置?

训练集、验证集和测试集怎么设置??

qq_43308156的博客 4894

数字设计实验:自动售货机

本文旨在介绍数字设计实验:自动售货机的设计思路和实现代码

2401_83740084的博客 2229

从立创商城到Cadence:手把手教你实现封装格式的精准迁移

本文详细介绍了如何从立创商城获取元器件封装并精准迁移至Cadence Allegro的全流程。通过实战案例MAX31865ATP+T芯片,逐步解析Altium Designer格式转换、Cadence环境配置、封装导入验证等关键步骤,提供常见问题解决方案和效率提升技巧,帮助硬件工程师实现封装格式的高效迁移。

weixin_42519985的博客 218

机器学习:训练集与测试集分割train_test_split

在使用机器学习训练模型算法的过程中,为提高模型的泛化能力、防止过拟合等目的,需要将整体数据划分为训练集和测试集两部分,训练集用于模型训练,测试集用于模型的验证。此时,使用train_test_split函数可便捷高效的实现数据训练集与测试集的划分。

十年以上架构设计经验,专注于软件架构和人工智能领域,对机器视觉、NLP、音视频等领域都有涉猎 1万+

从流量到凭证:实战解析SMB协议中的NTLMv2/v1哈希提取与破解

本文详细解析了SMB协议中NTLMv2/v1哈希的提取与破解实战技巧。从流量捕获、哈希格式处理到Hashcat高效破解,提供了一套完整的操作指南。文章特别强调了NTLMv2和NTLMv1哈希的区别及处理要点,并分享了防护建议与检测方法,帮助安全人员提升渗透测试效率。

weixin_30642561的博客 118

为什么需要设置验证集(validation)

以前学习机器学习,只有train和test,为什么现在添加了validation? 1.若训练时用train来判断现在模型的训练情况以决定训练结束的时间,其模型可能只对train的训练集效果好,无泛化能力。 2.若训练时用test来判断现在模型的训练情况以决定训练结束的时间,其模型可能已经对test效果好了,再用test评估模型不公平。 ...

vectorindex的博客 1146

【AI Agent系列】【MetaGPT】9. 一句话订阅专属信息 - 订阅智能体进阶,实现一个更通用的订阅智能体(2)

订阅智能体进阶(2)。不用爬虫,直接提取网页信息。从RunSubscription分离出AddSubscriptionTask的action,并且让SubscriptionRunner单独运行。

同学小张的博客 1589

uniapp:解决微信小程序包体积超过2M的优化方案+详解分包问题,编译小程序体积大于2M不能上传和预览提示体积太大的处理教程,uniApp微信小程序主包过大问题如何解决(排查可疑点+分包+最小改动)

uniapp微信小程序开发,如何解决打包太大无法预览发布的问题,uniApp微信小程序包体积超过2M的优化方法,uni-app打包微信小程序主包超2M终极解决方案,使用uniapp开发微信小程序使用uni_modules导致主包文件过大,无法发布的解决方法,UniApp开发的微信小程序主包过大问题及解决方案 编译小程序时Node-modules被打入主包,小程序体积大于2M不能上传和预览,怎么处理,解决微信小程序主包太大问题,微信小程序中主包和分包过大,详解分包问题,uni-app 微信小程序发布时,主包超

✅ 精选推荐文章 5068

机器学习技巧:如何(以及为什么需要)创建一个好的验证集

作者:Rachel Thomas 编译:ronghuaiyang导读验证集的划分真的就是调用一个train_test_split函数这么简单么,其实并不是。一个非常常见的场景:一个看...

fengdu78的博客 392

【学习系列】SAP RAP 17:RAP应用部署集成至Fiori Launchpad 【S4HC Public Edition】

本文详细介绍了在SAP S/4HANA Cloud环境中部署RAP应用集成到Fiori Launchpad的两种方法:使用BAS(SAP Business Application Studio)和VSCode。主要步骤包括:1)在BTP中配置Destination连接ES环境;2)设置信任关系;3)创建BAS开发空间;4)通过Fiori应用生成器部署RAP应用;5)创建IAM App、Business Catalog和Business Role;6)配置Launchpad Space和Pages。文章还提供

DeveloperMrMeng的博客 968

Kaggle大赛经验:如何(以及为什么)创建一个好的验证集

一个创建机器学习模型过程中非常常见的情况:一个看似完美的机器学习模型在创建的过程中完全失败。这个后果让很多人感到困惑,这怎么可能发生? 导致开发与结果之间脱节的最可能的罪魁祸首之一是一个不好的验证集(甚至更糟,根本没有验证集)。根据数据的性质,选择验证集可能是最重要的一环。虽然sklearn提供了一个train_test_split方法,但是这个方法...

weixin_33739541的博客 379

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

随机森林需要分训练集测试集吗_如何(以及为什么需要)创建一个好的验证集...

作者:Rachel Thomas编译:ronghuaiyang导读验证集的划分真的就是调用一个train_test_split函数这么简单么,其实并不是。一个非常常见的场景:一个看起来非常好的机器学习模型在现实的生产环境中使用时是完全失败的。其后果包括老板对现在的机器学习持怀疑态度,不愿再尝试。怎么会这样呢?导致开发结果与生产结果之间脱节的最可能的原因之一是错误地选择了验证集(甚至更糟,根本没有验...

weixin_39729840的博客 5172

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

机器学习 训练验证测试_测试前验证| 机器学习

机器学习 训练验证测试In my previous article, we have discussed about the need to train and test our model and we wrote a code to split the given data into training and test sets. 在上一篇文章中,我们讨论了训练和测试模型的必要性,并编写了代...

cumudi0723的博客 347

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

pytorch 三维点分类_使用PyTorch建立图像分类模型

概述在PyTorch中构建自己的卷积神经网络(CNN)的实践教程我们将研究一个图像分类问题——CNN的一个经典和广泛使用的应用我们将以实用的格式介绍深度学习概念介绍我被神经网络的力量和能力所吸引。在机器学习和深度学习领域,几乎每一次突破都以神经网络模型为核心。这在计算机视觉领域尤为普遍。无论是简单的图像分类还是更高级的东西(如对象检测),神经网络开辟了处理图像数据的可能性。简而言之,对于像我这样的...

weixin_39776817的博客 396

机器学习中为什么需要验证集,验证集与测试集的区别是什么?

验证集:用来调整分类器超参数的样本集,如在神经网络中选择隐藏层神经元的数量。数。

weixin_57038791的博客 4347

训练集,验证集,测试集(以及为什么要使用验证集?)(Training Set, Validation Set, Test Set)

对于训练集,验证集,测试集的概念,很多人都搞不清楚。网上的文章也是鱼龙混杂,因此,现在来把这方面的知识梳理一遍。让我们先来看一下模型验证(评估)的几种方式。 在机器学习中,当我们把模型训练出来以后,该怎么对模型进行验证呢?(也就是说怎样知道训练出来的模型好不好?)有以下几种验证方式: 第一种方式:把数据集全部作为训练集,然后用训练集训练模型,用训练集验证模型(如果有多个模型需要进行选择,那么最后选出训练误差最小的那个模型作为最好的模型) 这种方式显然不可行,因此训练集数据已经在模型拟合时使..

jinchenpeng的博客 2万+

为什么要使用验证集

大多数机器学习算法都有超参数,可以设置来控制算法的行为。超参数的值不是通过学习算法本身学习出来的(尽管我们可以设计一个嵌套的学习过程,一个学习算法为另一个学习算法学出最优超参数)。 有时一个选项被设为学习算法的超参数,是因为它太难优化了。更多的情况是,该选项必须是超参数,因为它不适合在训练集上学系。这适用于控制模型容量的所有超参数,如果在训练接上学习超参数,这些超参数总是趋向于最大可能的模型容量...

weixin_36670529的博客 6546

数据的划分——训练集,验证集,测试集

1.为什么要对数据进行划分,越多的数据训练的模型不是越好吗?      的确,模型的性能和训练数据的多少有很大关系,我们先看看这三个集合的用处训练集(training set)      训练集的作用就是训练模型,形成模型的内部结构和参数估计,比如古典的线性回归模型,每个变量前边的参数都是由训练集估计出来的,这里我们要区分一个概念,参数和超参数:                          ...

qq_42451512的博客 1万+

数据集的划分,验证集参与训练了吗?

数据集的划分,验证集参与训练了吗? 文章目录数据集的划分,验证集参与训练了吗?前言一、验证集怎么用?验证集参与训练了吗?二、为什么需要测试集?三、数据集的划分比例 前言 在周志华老师的《机器学习》这本书中,我们知道训练机器学习以及深度学习的模型的时候,对数据集需要进行划分,通常划分成训练集和测试集,一般我们还会对训练集进行再划分一部分作为验证集。 一、验证集怎么用? 验证集参与训练了吗? 从《机器学习》这本书中,我们知道,训练集是拿来训练模型参数的,对于所有的训练集,训练一个epoch之后,我们会用验证集

fs1341825137的博客 1万+
上一篇: 机器学习数据集汇总(附下载地址)
下一篇: NeurIPS 2019:计算机视觉论文回顾
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值