机器学习笔记-模型评估与选择， Training set、Validation set 和 Testing set的区别与作用

最新推荐文章于 2025-02-06 16:32:07 发布
最新推荐文章于 2025-02-06 16:32:07 发布
阅读量6.6k 收藏 5
点赞数 3
分类专栏： 机器学习算法 文章标签： 机器学习 算法 框架 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lilu916/article/details/78129720
版权
本文探讨了在机器学习过程中模型评估与选择的重要性，特别是Validation set和Testing set的区别与作用。Validation set主要用于模型选择和避免过拟合，而Testing set则用于最终评估模型的泛化能力。文中提到了数据集的划分策略，如80/20比例和五折交叉验证，以确保模型评估的稳定性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在自学机器学习的过程中，如果不系统的看一本好的参考书，形成整体的知识框架，很容易在某一个环节停滞不前。

例如：Validation set 的作用是什么？它与 Testing set的区别是什么？

在不同的参考书、博客里关于这部分阐述的重点不一致，本文就结合各大牛的知识心得，尝试梳理一下这一块的内容。


  • Validation set 的作用是什么？

采用机器学习的方法解决一个实际问题的过程应该大致包括以下几个步骤：问题抽象->模型选择->模型训练->模型应用。问题抽象的意思是将问题中的信息以数学形式表示，比如数据集、向量等。

模型选择这部分正是本文的重点所在，模型选择的本质是对候选模型的泛化误差进行评估，然后选择泛化误差最小的模型对样本进行训练，从而防止模型过拟合。模型选择主要包括两部分：

1、机器学习方法的选择

最低0.47元/天 解锁文章
机器学习笔记 - TensorFlow Lite设备端机器学习的模型优化
学以致用 知行合一
10-24 912
TensorFlow Lite 是一组工具，可帮助开发人员在移动、嵌入式和边缘设备上运行模型，从而实现设备上机器学习。TensorFlow Lite（简称 TF Lite）是一个开源的跨平台框架，它通过使模型能够在移动、嵌入式和物联网设备上运行来提供设备端机器学习。有两种方法可以生成 TensorFlow Lite 模型：1、将 TensorFlow 模型转换为 TensorFlow Lite 模型。2、从头开始创建 TensorFlow Lite 模型。
training set, validation set, test set的区别
Swartz2015的专栏
10-22 2万+
首先安利一下一个机器学习的入门在线课程：台湾大学机器学习以及关于上面这个问题的一个解答：解答大四做毕设的时候就有这个问题，当时没想明白，后面一直疑惑不解，直到今天才搞懂。首先写一下结论： training set： 用来训练模型 validation set : 用来做model selection test set : 用来评估所选出来的model的实际性能 我对这三个名词的疑惑主要是由于一下几个
Training Set Validation Set 和Testing Set之间的差别及关系
qq_44884706的博客
04-23 497
Training Set Validation Set 和Testing Set之间的差别及关系
CSS盒模型详解：从零开始理解margin、border、padding
最新发布
weixin_45474825的博客
02-06 342
理解盒模型对于CSS布局来说至关重要。建议初学者可以使用浏览器开发者工具来观察和调试盒模型，这样可以更直观地理解每个属性的作用。希望这篇文章对你理解CSS盒模型有所帮助！如果有任何问题，欢迎在评论区讨论。
训练集(train set) 验证集(validation set) 测试集(test set)
aizhao3648的博客
04-06 926
转自：http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html 在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set) 验证集(validation set) 测试集(test set)。 http://blog.sina.com.cn/s/blog_4d2f6cf201...
Training Set, Validation Set 和Testing Set之间的差别及关系
MyArrow的专栏
05-26 1万+
1. 各类数据的用途示例     训练数据和验证数据在训练时使用，基本流程如下：   for each epoch for each training data instance propagate error through the network adjust the weights calculate the accuracy ov
训练集(train set)、 验证集(validation set) 、测试集(test set)
旧人赋荒年
11-06 9903
在有监督(supervise learning)机器学习中，数据集常被分成2~3个部分： 训练集(train set)：用来估计模型； 验证集(validation set)：确定网络结构或者控制模型复杂程度的参数； 测试集(test set)：检验最终选择最优的模型的性能如何。一个典型的划分是训练集占总样本的50％，而其它各占25％，三部分都是从样本中随机抽取。 样本少的时候，上面的划分就
【笔记】MatConvNet训练小记
gqq77的博客
08-02 650
【笔记】MatConvNet训练小记1. 训练数据(Training Set) 用于调整网络的权重(weights)和偏差(biases)。 2. 验证数据(Validation Set) 验证数据用于最小化过拟合(overfitting)。 这数据不调整权重和偏差。在基于训练数据调整权重之后，如果基于训练数据的准确度增加了，而基于验证数据的准确度没有增加或反而下降了
【机器学习】模型评估与选择-西瓜书第二章知识点整理
tellyW的博客
04-30 1049
前一段时间在看书的过程中并没有做笔记，知识点忘得很快。故此，在学习周华志老师的《机器学习》一书时，计划每两天学习一个章节并结合吴恩达机器学习的内容做笔记分享到博客上。本文内容非本人原创，只是为了满足自己的学习需要进行的系统整理。
《机器学习》周志华(西瓜书)学习笔记 第二章 模型评估与选择
sdm12345的博客
05-11 1926
第二章 模型评估与选择
机器学习笔记——模型选择与正则化
dzc_go的博客
10-17 1901
机器学习笔记——模型选择与正则化一、模型选择1.方差与偏差2.过拟合与欠拟合3.模型选择的平衡二、正则化 一、模型选择 1.方差与偏差 我们设定h(x)h(x)h(x)为近似值，y(x)y(x)y(x)为真实值。我们有如下式子： 近似值的bias我们设定为所有样本近似值与真实值之间差值的期望。近似值的var我们设定为所有样本近似值与近似值的期望之间差距的期望的平方（有点绕…,其实去掉平方的标准差更好理解）。 我们可以看到bias与近似值h(x)h(x)h(x)、真实值y(x)y(x)y(x)相关。而va
交叉验证（Cross Validation）简介
热门推荐
holybin的专栏
05-27 4万+
以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标.常见CV的方法如下: 1).H
【data mining】train, validation, test的区别
momo906的专栏
07-24 4566
training 训练数据，拟合模型，就是用这部分数据来建立模型 validation 是验证数据，刚才说training建了一个模型，但是模型的效果仅体现了训练数据，但不一定适合同类的其他数据，所以我们会在建模前会将数据分成两部分，一部分为训练数据，一部分为验证数据（两部分数据的比例大致为7:3，这取决于你验证的方法，详细说明我从网上摘了下放在本次说明的最下边，但愿你能看懂）；另外，你也可
训练集（train)、验证集（validation）和测试集（test）
weixin_44012667的博客
08-24 836
训练集（train)、验证集（validation）和测试集（test）
训练集（trainning set），测试机(testing set)，验证集(validation set)
liqing19的博客
01-23 2528
1.交叉验证 交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize）。 2.训练集，验证集（注意区别交叉验证数据集），测试集 一般做预测分析时，会将数据分为两大部分。一部分是训练数据，用于构建模型，一部分是测试数据，用于检验模型。但是，有时候模型的构建过程中也需要检验模型，辅助模型构建，所以会将训练数据在分为两个部分：1）训练数据；2）验证数据（V
qa 芯片测试_[转]芯片设计中验证Verification，确认Validation以及测试Test的区别
weixin_39879665的博客
12-18 3608
对于刚进入芯片设计领域的童鞋，经常被这三个概念迷惑，很难区分，我曾经也是，因此，在这里把我理解的异同点在这里写一下，不一定准确，希望对某些童鞋有用。验证(Verification)，确认(Validation)，测试(Test)的最终目的是一样的，都是减少设计中的缺陷，保证设计的质量，可以算是QA的环节(不过貌似现在QA几乎就是指测试了)，不同点的是，他们是在不同的层次，由不同的人进行的工作。验证...
翻译：测试Test和验证Validation数据集的区别
weixin_41091044的博客
09-13 1928
原文地址：https://machinelearningmastery.com/difference-test-validation-datasets/ 验证数据集是训练模型时保留的数据样本，用于在调整模型的超参数时估计模型技能。 验证数据集与测试数据集不同（测试数据集也无法用于模型训练），是用于在最终模型之间进行比较或选择时对最终调整模型的技能进行无偏估计。 在应用机器学习中，关于验证数据集究竟是什么以及它与测试数据集有何不同，存在很多混淆。 在这篇文章中，您将发现训练、测试和验证数据集的清晰定义，以及如
Validation Set
不知道是谁的博客
06-19 833
The validation data set is a set of data for the function you want to learn, which you are not directly using to train the network. You are training the network with a set of data which you call the t
头歌机器学习机器学习 --- 模型评估、选择与验证
01-03
### 机器学习中模型评估、选择与验证的方法 #### 数据分割方法 在机器学习实践中，数据通常被划分为训练集和测试集两部分。一般做法是采用80%的数据作为训练集用于构建模型，剩余20%的数据作为测试集来检验模型的表现[^4]。 #### 性能度量标准 对于分类问题而言，常用的性能评价指标有准确率(Accuracy)，精确率(Precision)，召回率(Recall)以及F1分数(F1 Score)[^1]；而对于回归类的任务，则更多依赖均方误差(Mean Squared Error,MSE),平均绝对误差(Mean Absolute Error,MAE)等统计学上的损失函数来进行衡量。 #### 十折交叉验证法 十折交叉验证(Cross Validation,CV)是一种广泛应用于监督式学习算法中的技术手段。具体操作方式为：将原始样本随机分成十个子集，在每次迭代过程中选取其中一个子集作为验证集合其余九个共同组成新的训练集完成一轮完整的建模流程并记录下相应的评分结果;最终取这十次实验所得分值的算术平均数作为该模型的整体效能估计值[^3]。 ```python from sklearn.model_selection import cross_val_score scores = cross_val_score(model, X, y, cv=10) print("Cross-validation scores:", scores.mean()) ``` #### 正则化处理 为了避免过拟合现象的发生，在建立复杂度较高的非线性映射关系之前往往会对目标函数施加一定的约束条件—即引入正则项(regularization term)—以此达到简化假设空间的目的。常见的形式包括Lasso(L1范数惩罚)和支持向量机(SVMs)里的软间隔最大化策略等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值