【全网独家】搞人工智能必看的前沿技术——6、你的开发集和测试集应该来自同一分布

最新推荐文章于 2024-07-30 10:36:36 发布
原创 最新推荐文章于 2024-07-30 10:36:36 发布 · 745 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在机器学习中，确保开发集和测试集来自同一分布至关重要。不同分布可能导致算法在开发集上表现优异，但在测试集上失效。文章指出，这样会增加过拟合风险和优化方向的不确定性，降低效率。保持分布一致，可以更准确地评估性能，避免优化误区。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

6、你的开发集和测试集应该来自同一分布

最低0.47元/天 解锁文章

200万优质内容无限畅学
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
改善深层神经网络：超参数调试、正则化以及优化第一周检测
博客
08-10 862
答案见下方 1.如果你有10,000,000个例子，你会如何划分训练/开发/测试集？ A.33%训练，33%开发，33%测试 B.60%训练，20%开发，20%测试 C.98%训练，1%开发，1%测试 2.开发和测试集应该： A.来自同一分布 B.来自不同分布 C.完全相同（一样的(x, y)对） D.数据数量应该相同 3.如果你的神经网络方差很高，下列哪个尝试是可能解决问题的？ A.添加正则项 B.获取更多测试数据 C.增加每个隐藏层的神经元数量 D.用更深的神经网络 E.用更多的训练数据 4.你正在为
6. Your dev and test sets should come from the same distribution 你的开发集和测试集应该来自同一分布（《MACHINE LEARNING
NodYoung
12-09 2963
你的开发集和测试机应该来自同一分布根据你的市场，您将你的猫app的图片数据分为四个区域：（i）美国，（ii）中国，（iii）印度和（iv）其他地区。要生成一个开发集和一个测试集，我们随机地分配两个地区的数据到开发集，另外两个到测试集，对吗？比如来自美国和印度的数据在开发集，中国和其他地区的在测试集。一旦你这样定义了开发集和测试集，你的团队将专注于提高开发集的表现性能。因此，开发集应该反映你真正想要提
2020-6-30 吴恩达DL学习-C3结构化ML项目-w1 ML策略1(1.5 训练/开发/测试集划分--开发集和测试集来自同一分布)
weixin_42555985的博客
09-01 237
1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/ 3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai 1.5 训练/开发/测试集划分 Train/dev/test distributions 设立训练集，开发集和测试集的方式大大影响了你或者你的团队在建立ML
开发集和测试集
Json111的博客
01-26 619
被选择作为开发集和测试集的数据，应当与你未来计划获取并对其进行良好处理的数据有着相同的分布，而不一定和训练集的数据分布一致。 开发集和测试集的分布应当尽可能一致。 为你的团队选择一个单值评估指标进行优化。当需要考虑多项目标时，不妨将它们整合到一个表达式里（比如对多个误差指标取平均），或者设定满意度指标和优化指标。 机器学习是一个高度迭代的过程：在出现最终令人满意的方案之前，你可能要尝试很多想法。 拥有开发集、测试集和单值评估指标可以帮助你快速评估一个算法，从而加速迭代进程。 当你要探索一个全新的应用时，尽.
5. Your development and test sets 你的开发集和测试集（《MACHINE LEARNING YEARNING》翻译）
NodYoung
12-09 4559
下面几个（5~12）章节将主要介绍 Setting up development and test sets 建立开发集和测试集你的开发集和测试集让我们回到之前关于猫的图片的例子：你制作了一个移动APP，用户可以上传很多不同事物的图片到你的app上，你想要自动发现关于猫的图片。你的团队从不同的网站下载大量猫（正样本，positive examples）和非猫(负样本，negative examp
数据集中训练数据集和测试数据集特征同分布
wyyang2的博客
11-09 2434
用标准数据来训练，但是在真实的测试过程中，输入数据的并不会是标准数据，导致了训练与测试的两个过程中数据分布的不一致。 首先要说，训练集合与测试集合的分布完全一样，这个不太现实，因为相对于有限的训练集，测试集合理论上趋于无限大，所以无法穷尽。然而我们也不能为了单单去拟合我们手里的测试集而调整模型。 那么要了解业务场景，要知道你的产品需要到哪些场景中，人为的分析数据源，这样收集到的数据可能会更好。 这里假定你有个识别人脸的应用，你的数据集是来自某知名人脸数据库（简称原数据库），10w张左右，图片清晰标注明确。而
【全网独家】吴恩达的新书 《Machine Learning Yearning》中文编译版——1~12章
dujiahaogod的博客
04-06 1330
目录1、为什么需要机器学习策略？机器学习是无数重要应用程序的基础，包括网页搜索，反垃圾邮件，语音识别，产品推荐等。如果您或您的团队正在开发一个机器学习的应用程序，并且您希望取得快速的进步。这本书将帮助你实现。例如:建立一个谁别含有猫咪图片的创业公司。假设你正在建立一个新公司，它将为爱猫人士提供源源不断的猫图片。你使用神经网络建立一个计算机视觉系统来检测图片中的猫。但不幸的是，你的学习算法的准确性还...
为什么训练集和测试集合都是来自同一分布【转载】
Monster_H7的博客
12-09 2338
什么是分布 我们说训练集和测试集服从同分布的意思是训练集和测试集都是由服从同一个分布的随机样本组成的，也就是 (Xtrain,Ytrain),(Xtest,Ytest) i.i.d. ∼F(X,Y) 测试集合训练集分布的影响 训练模型的过程实际上是拟合了训练数据的分布，如果测试数据的分布跟训练数据不一致，那么就会影响模型的效果。参考吴恩达老师的例子 通俗的解释【网友给出的白话解...
处理训练集和测试集分布同的方法（对抗训练）
weixin_30894583的博客
07-04 306
https://www.kaggle.com/c/santander-value-prediction-challenge 在kaggle该题中，需要通过所给的匿名变量来预测target值 feature比较多，所以通过降维来查看训练集和测试集的分布情况 1.训练分类器划分测试集和训练集 我们把训练集的y设置成1，测试集的设置成0 通过feature训练一个分类器（我们当时采用了最简...
吴恩达关于dev / test sets的形象解释
Riverhope的博客
12-02 5261
dev set is also called development set or sometimes called hold out cross validation set. And  worflow in machine learning is that you try lots of ideas,traning different models on the  traning  sets,
改善深层神经网络 —— 第一周：深层学习的实用层面(选择题作业)
然后就去远行
12-06 1851
1、如果你有10,000,000个例子，你会如何划分训练/开发/测试集？ 训练集占33%，验证集占33%，测试集占33%. 训练集占60%，验证集占20%，测试集占20%. 训练集占98%，验证集占1%，测试集占1%. 2、开发和测试集应该： 来自同一分布 来自不同分布 每对数据(x,y)彼此相同 有相同数量的实例 3、如果你的神经网络模型似乎有很高的【偏差】，下列哪个尝试是可能解决问题的？ 添加...
【深度学习】训练集、开发集和测试集
Twinkle
11-27 6189
这三者是在进行一个机器学习项目中非常重要的内容。它们的确定往往决定了这个项目的走向。错误的训练集、开发集和测试集的划分很可能会让一个团队浪费数月时间。 training set：顾名思义，是用来训练模型的。因此它占了所有数据的绝大部分。 development set：用来对训练集训练出来的模型进行测试，通过测试结果来不断地优化模型。 test set：在训练结束后对训练出的模型进行一次最终...
1. 训练集、开发集、测试集（Train/Dev/Test sets）
热门推荐
luoying_1993的专栏
02-13 3万+
1.在以往的机器学习中 如上图所示，以往机器学习中，对训练集、开发集、测试集的划分比例为60/20/20，如此划分通常可以获得较好的效果。 训练集（training set）：训练算法。 开发集（development set）：调整参数、选择特征，以及对学习算法作出其它决定。 测试集（test set）：开发集中选出的最优的模型在测试集上进行评估。不会据此改变学习算法或参数。 2....
机器学习策略篇：详解训练/开发/测试集划分（Train/dev/test distributions）
最新发布
bugyinyin的博客
07-30 811
设立训练集，开发集和测试集的方式大大影响了或者团队在建立机器学习应用方面取得进展的速度。同样的团队，即使是大公司里的团队，在设立这些数据集的方式，真的会让团队的进展变慢而不是加快，看看应该如何设立这些数据集，让团队效率最大化。
训练集、开发集(验证集)、测试集的作用——个人理解
l571129的博客
12-27 1123
以下为个人学习阶段理解，如果有不对的地方欢迎各位大佬指点，共同进步。
自然语言处理中训练集，开发集和测试集的关系
大鹏博客
03-02 8402
做自然语言处理相关科研的过程中，训练集，开发集和测试集是非常常见的基础性概念，对它们有清楚的理解是做科研的基础，本文给出三者的概念以及它们之间的关系。
机器学习中训练集、验证集(开发集)、测试集的定义及其划分
qq_41853758的博客
09-24 5741
这三者是在进行一个机器学习项目中非常重要的内容。它们的确定往往决定了这个项目的走向。错误的训练集、开发集和测试集的划分很可能会让一个团队浪费数月时间。 training set：顾名思义，是用来训练模型的。因此它占了所有数据的绝大部分。 development set(validation set)：用来对训练集训练出来的模型进行测试，对训练出的模型的超参数进行调整，不断地优化模型，。 te...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值