模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?

最新推荐文章于 2025-07-08 10:51:49 发布
最新推荐文章于 2025-07-08 10:51:49 发布
阅读量433 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 算法的实际使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/84643476
探讨了模型在交叉验证中表现良好，但在实际应用中效果欠佳的问题。分析原因包括训练数据覆盖不足，导致数据集代表性差，以及模型随时间迁移导致的特征适应性下降。

模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?

  • 选取的训练数据的覆盖度不够, 即数据集不具有代表性(不过完备), 不能体现真实数据的分布。
  • 模型迁移 (model drift), 随着时间的转移, 特征数据也会跟着变化。比如3个月前的模型对现在的特征可能不会有好的结果。
U-net模型及其在图像分割领域的应用——系统性地介绍U-net模型及其相关术语，并详细阐述模型的基本原理和实现过程
AI天才研究院
08-03 2251
2015年，在MICCAI国际医学影像分析竞赛(Medical Image Computing and Computer Assisted Interventions)上，DeepMedic团队中科院自动化所的陈硕等人提出了一种新的图像分割方法——U-net网络。该方法通过重复下采样(downsampling)，从输入图像得到中间输出，再向上采样(upsampling)恢复到原始尺寸，最终得到一个像素级别的分割图。这种模型在对医疗图像进行细粒度分割、纹理分割、自动孔透检查等方面都有着显著的应用价值。
GAN中的交叉验证及其在模型训练中的应用
AI天才研究院
07-19 2811
作者：禅与计算机程序设计艺术 随着深度学习技术的不断发展和飞速发展，越来越多的人们投身于图像、文字等领域的深度学习的热潮中。近年来，无论是通过深度学习技术解决图像分类、目标检测、分割等实际问题，还是用GAN来生成高质量的图像、视频、音频等，都受到了广泛关注。本文将从理论上探讨一下GAN中的交叉验证方法及其在模型训练中的应用。
深度学习模型在训练集上表现良好，但在测试集上表现较差，可能原因
XreqcxoKiss的博客
09-16 9778
深度学习模型在训练集上表现良好，测试集上效果不好，可能存在的问题以及改进措施
测试集的分割效果不好，可能由以下原因导致
ruotianxia的博客
08-31 707
测试集的分割效果不好，可能由以下原因导致测试集的分割效果不好，可能由以下原因导致：为了解决这些问题，可以尝试以下方法： 测试集的分割效果不好，可能由以下原因导致： 模型过拟合：如果模型在训练集上表现良好，但在测试集上表现不佳，这可能是因为模型过拟合了训练数据。过拟合可能是由于训练数据太少、模型太复杂或训练过程太长时间等原因导致的。 数据分布差异：测试集和训练集的数据分布可能存在差异，例如在数据集中某些类别的样本数量不平衡，或者在测试集中有新的噪声或模式。这可能导致模型在测试集上的性能下降。 测试集的分割问
AI大模型是如何测试效果的（非常详细）从零基础到精通，收藏这篇就够了！
最新发布
Python_0011的博客
07-08 1721
AI大模型的测试和评估是一个复杂的过程，通常包括多个方面的考量，因此对大模型的测试也称为多度测试。模型参数计算（以ALexNet为例）：参数量在6000万，假设每个参数都是一个float，即4个字节，总字节就是24000万字节，则24000万字节/1024/1024 = 228MB一个针对大型语言模型(LLMs)，采用众包方法进行匿名、随机化的对战的评分系统。根据清华发布2024年3月版《SuperBench大模型综合能力评测报告》。
bug：训练好的模型测试结果很差
woshixuxiran的博客
11-03 2002
继续苦逼调bug
模型训练与验证
misaka的博客
08-24 350
数据集划分通常分为训练集、线下验证集、线下测试集和线上测试集。对于无时序的数据集：简单划分、交叉验证划分等。对于有时序的数据集：需考虑时序，nested交叉验证划分等。 模型选择方面我们一句在验证集熵的效果选择，除了关注效果的均值，还要关注稳健性。对于线上效果可以将线上效果视为一折数据。参数调优方面不建议将精力放在参数调优上；容易过拟合大体的设置参数即可，例如，Xgboost，learning_rate=0.1，nround=200，max_depth=6，应将精力重点放在特征工程；其次是模型融合。 掌
paddle静态图训练，训练集和测试集效果都有很好，但验证集上效果很差
欧阳罢笔的博客
08-13 3221
在paddle静态图训练中，训练集和测试集效果都有很好，但验证集上效果很差 在paddle的训练中，如果使用这样的方式进行训练 main_program = fluid.default_main_program() cost = fluid.layers.cross_entropy(input=model, label=label) # 交叉熵损失函数 avg_cost = fluid.layers.mean(cost) acc = fluid.layers.accuracy(input=model,
print("\n10-Fold Cross-Validation R-squared Scores:")是什么意思
03-14
可能他们已经看到过类似的代码，但不确定具体含义，或者是刚开始学习交叉验证和模型评估。 首先，这段代码是一个Python的print语句，用来输出信息到控制台。字符串里的内容是一个标题，提到了10折交叉验证的R平方...
【交叉验证与模型选择】交叉验证：评估模型在不同训练集-测试集划分上的性能。
[【交叉验证与模型选择】交叉验证：评估模型在不同训练集-测试集划分上的性能。](https://ucc.alicdn.com/pic/developer-ecology/pbjttotxrbkzo_9065e55c10df4166adecbae97bfbfd77.jpeg?x-oss-process=image/resize,...
C语言十折交叉验证,十折交叉验证10-fold cross validation, 数据集划分 训练集 验证集 测试集...
weixin_36003021的博客
05-22 3388
Q：如何将数据集划分为测试数据集和训练数据集？ A：three ways: 1.像sklearn一样，提供一个将数据集切分成训练集和测试集的函数： 默认是把数据集的75%作为训练集，把数据集的25%作为测试集。 2.交叉验证(一般取十折交叉验证：10-fold cross validation) k个子集，每个子集均做一次测试集，其余的作为训练集。 交叉验证重复k次，每次选择一个子集作为测试集，并...
《预训练周刊》第23期：Smart Bird：解决变换器性能瓶颈的新方法、Prompt：如何提升预训练模型的迁移效果...
BAAIBeijing的博客
09-07 529
No.23智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第23期《预训练周刊》...
sklearn中的交叉验证（Cross-Validation）
weixin_30602505的博客
08-09 314
sklearn中的交叉验证（Cross-Validation） cross validation大概的意思是：对于原始数据我们要将其一部分分为traindata，一部分分为test data。train data用于训练，test data用于测试准确率。在test data上测试的结果叫做validation error。将一个算法作用于一个原始数据，我们不可能只做出随机的划分一次tr...
深度学习模型在训练集上很好而在测试集表现得不好而拟合次数并不多_机器学习中的过拟合，欠拟合和偏倚方差折衷...
weixin_39846664的博客
12-03 4785
过度拟合在机器学习中很重要。很直观的解释过拟合：假设我们现在让机器学习考试做题，想象一种情况，机器逐字记住每个问题的答案(拟合非常好-完美)。然后，我们可以在练习题上得分很高；我们这样做是基于希望实际考试中的问题与练习中的问题相同。但是，实际上，我们在用该机器在实际考试问题上的得分会非常低，因为很少有在实际考试中会出现完全相同的问题。记忆现象可能导致过度拟合。就是说我们过度地从训练集中提取了太多信...
YOLOv8教程系列：三、K折交叉验证——让你的每一份标注数据都物尽其用（yolov8目标检测+k折交叉验证法）
weixin_45921929的博客
08-22 7471
YOLOv8教程系列：三、K折交叉验证——让你的每一份标注数据都物尽其用（yolov8目标检测+k折交叉验证法）
deeplearning笔记2：改善深层神经网络
u014765410的博客
10-17 594
train/dev(cross-validation)/test set设定 in smaller datasets like 100, 1000, 10000，the proportion of every part is 70%/30%，or 60%/20%/20%. in large datasets like 1 million data or more，the proportion o...
分类模型训练完之后，测试效果极差可能原因分析
热门推荐
胖胖大海的博客
04-13 1万+
在知乎上有这样一个问题： acc很高，但预测正确的样本占比又很低，怎么回事？ - 知乎 关于这个问题，在这个问题的回答中，有许多大佬从数据的分布、模型的结构、数据集的划分，以及验证指标等层面进行了解答。 在这里按照我的理解，简单描述一下这个问题：模型训练正常，模型测试效果很差，甚至在训练集上的测试效果都很差。简单分析一下大概有以下几个方面的原因可以排查： 1、检查模型训练和模型测试的数据处理pipeline是否一致，比如训练时做了Normalize...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值