CNN 训练集和测试集loss值配对T检验

最新推荐文章于 2025-03-28 06:38:07 发布
最新推荐文章于 2025-03-28 06:38:07 发布
阅读量2.8k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 统计学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fitzgerald0/article/details/78995823
本文通过配对样本T检验分析了训练集与测试集的loss值，并揭示了两者之间的显著负相关关系。实验结果显示，在0.01置信水平下，两组loss存在显著差异。此外，还展示了随着训练epoch的增加，训练集loss下降而测试集loss上升的趋势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对输出的两组loss值进行配对样本T检验

1.两组值如图所示：(A-训练集loss , B-测试集loss)



2 . 二组值的相关：可以看出是中度的显著负相关



3 . 二组的配对T检验：结果表明在二者在0.01置信水平呈显著差异



4 . 绘图:随着训练epoch的增加，训练集的loss逐渐降低，而测试集loss增加




训练loss不下降原因集合
jacke121的专栏
04-09 9万+
一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小...
cnn 验证集 参与训练吗_如何正确使用机器学习中的训练集、验证集和测试集？...
weixin_39955700的博客
11-24 1817
训练集、验证集和测试集，林林总总的数据集合类型，到底该怎么选、怎么用？看过这篇教程后，你就能游刃有余地处理它们了。问题审稿的时候，不止一次，我遇到作者错误使用数据集合跑模型准确率，并和他人成果比较的情况。他们的研究创意有的很新颖，应用价值较高，工作可能也做了着实不少。但因对比方法错误，得出来的结果，不具备说服力。几乎全部都需要返工。这里，我帮你梳理一下，该怎么使用不同的数据集合：训练集（train...
认识数据重塑
最新发布
DAT｜R科学与人工智能
03-28 991
数据重塑（Data Reshaping）是指通过对数据框（Data Frame）或其他类型的数据结构进行操作，改变其形式或结构的过程。数据重塑的目标是使数据更加符合特定分析的需求，从而简化分析过程，提高分析的准确性和效率。
[深度学习] - 通用网络模型训练过程的 loss 变化分析方法 (loss / val_loss / test_loss)
Eden Garden
11-27 5万+
理解训练过程中 loss 变化情况 (loss / val_loss / test_loss)
tensorboard同时记录训练集和测试集的loss
Dive的博客
04-08 2772
1 为train和test分别写好loss cost = tf.losses.mean_squared_error(y, predict) loss = tf.sqrt(tf.reduce_mean(cost))#rmse tf.summary.scalar('train_loss',loss)#画loss #画测试集的loss 但是需要用测试集的数据传入feed cost1 = tf.loss...
Triplet-Loss原理及其实现、应用
热门推荐
莫失莫忘的博客
10-30 11万+
本文个人博客地址： 点击查看 欢迎下面留言交流 一、 Triplet loss 1、介绍 Triplet loss最初是在 FaceNet: A Unified Embedding for Face Recognition and Clustering 论文中提出的，可以学到较好的人脸的embedding 为什么不适用 softmax函数呢，softmax最终的类别数是确定的，而Triple...
CNN：目标检测在自动驾驶应用中的应用
yly的博客
05-07 1827
1. 3D-OD 1.1 Mono-3D 3D-OD在图像上目标检测的基础上，还需要给出相机坐标系或世界坐标系下目标的（x,y,z,h,w,l,theta）。其中，(x,y,z)目标中心点在相机坐标系下的坐标，(l,w,h)是目标的长、宽、高，theta是orientation中的yaw角。其中，（x,y,z）中depth z往往直接回归；x和y一般是预测图像上的像素offset，并通过内参K约束计算而来。 由相机内参投影方程得： ， 即： ， ， 对于相同距离的两点： ， ， 以上
【高级统计分析】：深入NASA电池数据集的深层结构
![【高级统计分析】：深入NASA电池数据集的深层结构]...第三章专注于统计模型的构建和假设检验原理，强调了时间序列分析在电池性能预测中的作用。第四章深入研究了监督和无监督学习算法在电池数据分析中
【机器学习模型的评估】：荷兰耕地遥感影像数据集的性能分析
![【机器学习模型的评估】：荷兰耕地遥感影像数据集的性能分析]...接着，通过对荷兰耕地遥感数据集的分析，讨论了数据获取、预处理、特征提取、数据集分割与标注的过程。本
【论文笔记】Image Privacy Prediction Using Deep Neural Networks
weixin_51547366的博客
01-11 2142
摘要 如今，越来越多的图片在Facebook、Flickr、Foursquare和Instagram等社交网站上在线共享。图像共享不仅发生在一群朋友之间，而且越来越多地发生在用户社交圈之外，用于社交发现。尽管目前的社交网站允许用户改变他们的隐私偏好，但这对于绝大多数网络用户来说往往是一项繁琐的任务，他们在分配和管理隐私设置方面面临困难。当这些隐私设置使用不当时，在线图像共享可能会导致恶意披露和侵犯隐私。因此，在将图像上传到社交网站之前，自动预测图像的隐私以警告用户隐私或敏感内容已成为当前互...
《机器学习》 周志华（西瓜书）的简单笔记
weixin_44137875的博客
08-06 1250
异常样本检测：可视化，概率统计（正态分布，高斯分布），PCA降维去除异常值，isolation forest（那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很容易很早的就停到一个子空间了） 学习器在所有新样本上的误差——泛化误差（generalization error） 学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了——过拟合（overfitting） 机器学习的大部分带参模型只是改变了最优化目标中的损失函数：如果是Square loss，那就是最小二乘了；如果是H
一文看懂训练集loss 与验证集loss关系说明
11-17 1万+
train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化） train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;或者是数据集有问题（数据集标注错误数据比较多） train loss 不断上升，test loss不断上升，说明网络结构设计
T检验、F检验、卡方检验、互信息法及机器学习应用
a1314_521a的博客
11-10 2057
T检验、F检验、卡方检验统计学原理介绍；T检验、F检验、卡方检验案例计算；利用F检验（方差分析）和互信息法进行随机森林数字识别数据集特征筛选；使用卡方分箱进行连续值编码，生成woe编码。
CNN卷积神经网络将数据分为训练和验证数据集
lin111000713的专栏
04-18 2413
# split_data.py # 功能：将两组类型数据分成训练和验证数据集 import os from shutil import copy import random # 指定路径下创建文件夹 def mkfile(file): if not os.path.exists(file): os.makedirs(file) # 获取data文件夹下所有文件夹名（即需要分类的类名） file_path = r'C:\Users\1\PycharmProjects\test.
验证集loss低于训练集loss原因分析
paddle video_tag模型踩坑
07-07 6763
我在模型训练的过程中出现了验证集loss低于训练集loss的情况，通过搜集资料，总结归纳如下原因： 原因1：在训练中应用正则化，但在验证/测试中未应用正则化 如果在验证/测试期间添加正则化损失，则损失值和曲线将看起来更加相似。 原因2：训练loss是在每个epoch测量的，而验证loss是在每个epoch后测量的 平均而言，训练损失的测量时间是前一个时期的1/2。如果将训练损失曲线向左移动半个epoch，则损失会更好。 原因3：验证集可能比训练集更容易（否则可能会泄漏(leaks)） 验证loss低于训练l
Tensorflow制作并用CNN训练自己的数据集
Nick Blog
03-14 1万+
本人初学Tensorflow，在学习完用MNIST数据集训练简单的MLP、自编码器、CNN后，想着自己能不能做一个数据集，并用卷积神经网络训练，所以在网上查了一下资料，发现可以使用标准的TFrecords格式。但是，遇到了问题，制作好的TFrecords的数据集，运行的时候报错，网上没有找到相关的方法。后来我自己找了个方法解决了。如果有人有更好的方法，可以交流一下。1. 准备数据我准备的是猫和狗两...
深度学习与计算机视觉系列(8)_神经网络训练与注意点
寒小阳
01-15 5万+
在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。
keras做CNN的训练误差loss的下降
fitzgerald0的博客
01-08 1万+
采用二值判断如果确认是噪声，用该点上面一个灰度进行替换。 噪声点处理：对原点周围的八个点进行扫描，比较。当该点像素值与周围8个点的值小于N时，此点为噪点 。 处理后的文件大小只有原文件小的三分之一，前后的图片内容肉眼几乎无法察觉。 但是这样处理后图片放入CNN中在其他条件不变的情况下，模型loss无法下降，二分类图片，loss一直在8-9之间。准确率维持在0.5,同时，测试集的训练误差持续下...
训练过程--对loss和acc的分析、处理。
qq_40272052的博客
07-07 1万+
训练过程–对loss和acc的分析、处理。 转载自https://blog.youkuaiyun.com/wydbyxr/article/details/84852672: 计算loss是会把所有的loss层的loss相加。 从验证集误差和测试集误差的角度分析 其实你这个问题就是个伪命题，如果我们刻意的去在训练集上拟合模型，使其准确率达到很高的高度，或者说尽量在验证集合上表现的好，都是相悖的。   因为我们不...
CNN验证码数据集：训练与测试文件解析
在本资源中，我们有一个名为 "cnn-vcode.rar" 的压缩文件，其内容包括用于训练和测试CNN模型的验证码数据集。根据文件名称列表，该数据集被分为两个主要部分：train（训练集）和test（测试集）。训练集用于模型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值