数据清洗---测试集和训练集分布不一致的情况

最新推荐文章于 2023-02-07 10:37:19 发布
原创 最新推荐文章于 2023-02-07 10:37:19 发布 · 5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。

在竞赛中，遇到数据分布不一致问题可能导致训练效果不稳定。冠军团队通过排查发现road 3图像过曝，与测试集分布不符，舍弃这部分数据后，分数反而提升。这强调了在不同数据源情况下，确保训练集和测试集分布一致性对于模型性能至关重要。

在竞赛中，可以会出现提供的数据不符合测试集分布的情况


根据百度车道线冠军的经验：

数据清洗上，最一开始采用了全部数据训练，发现loss经常出现不规则的跳动，经过排查，发现road 3存在几乎一半以上图像过曝的问题，并且road 3大多在强光下拍摄，不符合测试集的分布，所以很果断的舍弃了road 3，分数也提升了0.01左右（好神奇。。。）。

这就说明了，在数据来源不同的情况下，很可能出现训练集与测试集分布不一致的情况；
 

【一文速通】数据分布不同解决办法
allein_STR的博客
01-11 896
虽然个人建议的是删除分布不一致但不太重要的特征，但有时避免不了碰到分布不一致但又很重要的特征，这时候其实就需要自行trade off特征分布和特征重要性的关系了，比如在第四届工业大数据创新竞赛-注塑成型工艺的虚拟量测中，第5名团队保留了sensor1_mean特征而删除了pack_press_2特征，尽管他们发现pack_press_2从实际生产角度和相关性角度都非常重要，可为了提升模型在测试集的泛化能力和分数，他们没用pack_press_2特征，如图 （，如果引入低置信度样本，会带来很大的噪声。
训练集与测试集数据分布不一致
weixin_30230009的博客
02-10 9798
简介数据质量的高低是决定使用机器学习算法获得预测结果质量高低的重要因素，在很多常见任务中，数据质量的作用远大于模型的作用，本文讨论数据预处理时会遇到的一个常见问题：训练集与测试集数据分布不...
训练集和测试集数据分布不同_当您的训练和测试数据来自不同的分布时该怎么办...
cumian9828的博客
08-01 4662
训练集和测试集数据分布不同by Nezar Assawiel 由Nezar Assawiel 当您的训练和测试数据来自不同的分布时该怎么办 (What to do when your training and testing data come from different distributions) To build a well-performing machine learning (...
西瓜书习题 - 10.机器学习初步考试
热门推荐
wdn blog
10-28 1万+
西瓜书前9章内容考试题目
训练/测试集分布不一致解法总结
ytusdc的博客
01-01 1096
数值差距大，比如一个是 0-1，另外一个 0.5-2，如果是这种情况无解，你能做的只能扩大训练集合，因为重要特征一旦偏离，哪怕数学上都是有交集，现实上下文都是差距极大的，这和数据采集流程和规范等非技术问题有关。第四，特征数值差距不大，特征相关性差距也不大，但是目标数值差距过大，这个好办，改变任务设置共同的中间目标，比如你说的目标值是否可以采取相对值，增长率，夏普等，而非绝对值。的差距较大，这种情况可以屏蔽这些特征，或者利用类似迁移学习 prototype 那种思路约束特征输入不过于偏离训练集。
[DeeplearningAI笔记]第三章2.4-2.6不匹配的训练和开发/测试数据
泛用演化计算、通用人工智能优化模型
11-05 3608
机器学习策略-不匹配的训练和开发/测试数据觉得有用的话,欢迎一起讨论相互学习~Follow Me2.4在不同分布上训练和测试数据 在深度学习时代,越来越多的团队使用和开发集/测试集不同分布的数据来训练模型.下面解释一些方法来处理训练集和测试集存在差异的情况. Example1 假设你要开发一个识别猫的机器学习系统,其中 需要识别的是用户手机上传的猫的图片 这些图片往往清晰度低,取景不专业,识别度低.
ATEC-CCKS中文NLP训练验证测试数据集资源
最新发布
07-13
在数据集的结构上，通常会分为训练集、验证集和测试集三个部分。训练集用于模型的训练，验证集用于模型参数的调整和模型选择，而测试集则用于最终评估模型的性能。每个部分的文本数据都会配有相应的标注信息，这些...
胡图图-参考数据集0-6
03-13
在处理任何数据集时，重要的步骤包括数据收集、数据清洗、数据整合、数据分析和数据可视化。数据收集涉及从各种来源搜集数据，可能是直接测量、调查问卷或公开资源；数据清洗是为了去除重复、纠正错误、填补缺失值等...
精选资源
数据集-安全带和挂钩数据集
05-02
3. 数据清洗：删除模糊、重复或质量不佳的图像，确保模型只学习有效信息。 4. 数据划分：将数据集分为训练集、验证集和测试集。训练集用于训练模型，验证集用于调整模型参数，测试集则用于评估模型的最终性能。 5....
共享单车使用量统计-训练测试数据集
04-10
在这个项目中，数据被分为训练集（train.csv）和测试集（test.csv），这是机器学习中常见的做法，目的是训练模型并评估其在未知数据上的表现。 描述中的 "共享单车使用量统计" 提到了我们要处理的是与共享单车使用...
训练集和测试集类别特征值不同的处理
lizz2276的博客
05-22 6344
1、one-hot编码怎么让测试集的类别与训练集的类别在数量上一致呢？https://www.zhihu.com/question/314941339 one-hot编码怎么让测试集的类别与训练集的类别在数量上一致呢？ 我的训练集在one-hot编码后有4449个特征，而在测试集中有4109个特征，所以训练后的网络不能用在测试集中，不知道应该如何更改，希望大家帮助，谢谢！ 关注者 6 被浏览 926 关注问题​写回答 ​邀请回答 ​添加评论 ​分享 ​ 收起 ​ 4 个回答 默认排序 VinerL Vine
转载：「特征工程」与训练测试集合划分（原标题“警惕「特征工程」中的陷阱”）
joshuajinxiaoshuai的博客
05-20 3080
博主按： 这是我转的第一篇文章，实在是因为欲罢不能，不转不行。说到心坎上去了。测试集训练集划分和训练中关系问题，在工作中常常遇到。自己于是思考了一下，在知乎上看了一个相关问答，不谋而合。直到看到本文，描述清楚有完整。不失为好的总结。 警惕「特征工程」中的陷阱 知乎用户：微调 原文地址：https://zhuanlan.zhihu.com/p/33651227 特征工程(Feature E...
数据清洗
jll2014210714的博客
01-12 561
任务2 数据清洗 import warnings warnings.filterwarnings('ignore') # GBDT from sklearn.ensemble import GradientBoostingRegressor # XGBoost import xgboost as xgb # LightGBM import lightgbm as lgb import pan...
归一化应用于训练集与测试集注意事项
qq_33907866的博客
02-07 1882
对于部署后应用于预测的数据集在带入模型前也需要先进行归一化，仍使用训练集的归一化标准，即便归一化后可能大于1也无所谓。应当先划分数据为训练集与测试集，再分别进行归一化，之后进行模型训练。并且二者归一化应当采用相同标准。
如何解决训练集和测试集的分布差距过大问题
dididi的博客
01-26 4558
StratifiedKFold 可以借用sklearn中的StratifiedKFold来来实现K折交叉验证，同时根据标签中不同类别占比来进行拆分数据的，从而解决样本不均衡问题。 #!/usr/bin/python3 # -*- coding:utf-8 -*- """ @author: xcd @file: StratifiedKFold-test.py @time: 2021/1/26 10:14 @desc: """ import numpy as np from sklearn.model_se
数据漂移？训练集测试集分布差异？用featexp解决
chengyu950526的博客
08-23 2235
数据漂移？训练集测试集分布差异？用featexp解决 数据漂移是指由于时间的变动，之前的数据集的分布与现在的数据集的分布不一致，导致之前的模型不能很好的对现在的数据进行预测的情况。简单点说就是随着时间的推移，数据分布变了，基于以前的数据训练好的模型不好用了。 目前市面上常用的解决方法： 1. 用现在的数据重新训练模型 （这个不需要解释） 2. 对抗性验证法 论文地址：https://arxiv.org/pdf/2004.03045.pdf 这个方法的好处是万一你只有少数当前时间段的数据，不足以用它来重新分割
用python对训练集和测试集进行特征规范化处理
归去来兮的博客
09-09 1万+
个人理解这里的规范化处理指对提取后的特征集进行处理，不是对原始的数据信号进行处理，包括归一化和标准化。 规范化的原因：不同特征具有不同量级时会导致：a.数量级的差异将导致量级较大的特征占据主导地位；b.数量级的差异将导致迭代收敛速度减慢；c.依赖于样本距离的算法对于数据的数量级非常敏感。 归一化：，也就是原数据减去该特征列最小值，再除以该特征列的极差，将属性缩放到[0,1]之间。 标准化：,...
如何解决训练集、测试集分布不一致的问题
qq_53250079的博客
12-24 7638
对训练集和测试集分布不一致问题，可采取的部分可行方法
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事如yan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值