疑问：数据清洗过程中的“归一化”、“标准化”等等去量纲的操作应该在数据集划分前还是在数据集划分后？

最新推荐文章于 2025-06-20 20:32:25 发布
最新推荐文章于 2025-06-20 20:32:25 发布
阅读量4.6k 收藏 6
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 日常记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/like_red/article/details/88800072
本文讨论了数据集划分的重要性，特别是训练集和测试集的随机划分。当样本量足够大时，训练集与测试集能保持相同的数据分布，此时即使测试集中包含部分训练集信息，其对模型测试效果的影响也可忽略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问：如题。

找到的相关解答：应该数据集划分后，不然测试集里面实际上是包含了训练集的信息的，这会影响模型的测试效果。但其实当样本量足够大的时候，随机划分的训练集和测试集其实是有相同的分布的，所以理论上是可以忽略上面说到的东西的。

机器学习中的数据预处理：清洗、转换与标准化
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
03-19 2008
在机器学习项目中，数据预处理是提升模型性能的关键步骤之一。通过清洗、转换和标准化数据，可以显著提高模型的准确性和泛化能力。本文将从数据预处理的基本概念出发，介绍常用的预处理方法，并通过一个完整的代码示例带你入门，同时探讨其应用场景和注意事项。数据预处理是将原始数据转换为适合机器学习模型输入的过程。它包括数据清洗、特征选择、特征转换和数据标准化等步骤。数据预处理的目标是提高数据质量，减少噪声和冗余信息，从而提升模型的性能。
数据标准化与归一化：解锁数据处理的奥秘
qq_44771627的博客
10-23 716
在数据科学和机器学习领域，数据预处理是一个不可或缺的步骤。而在这其中，数据标准化与归一化更是两个经常被提及但又容易被误解的概念。无论是进行特征缩放以优化模型性能，还是在数据可视化时保持图形的可读性，数据标准化与归一化都有着举足轻重的作用。本文将带你深入了解这两个概念，通过基础语法介绍、实例演示以及实战案例分析，帮助你掌握数据标准化与归一化的精髓。
【chatgpt】归一化前训练测试集拆分还是归一化后训练测试集拆分
Never Give Up
07-17 1231
在进行机器学习建模时，应该先进行训练测试集拆分（train-test split），然后对训练集进行归一化，再使用训练集的归一化参数对测试集进行归一化处理。这样可以确保归一化过程不泄露测试集的信息，从而避免数据泄漏。：如果先归一化再拆分数据集，测试集的信息可能会影响训练集的归一化参数（例如，均值和标准差），这会导致数据泄漏，从而影响模型的泛化能力和性能评估的公正性。：通过在拆分数据集之后对训练集进行归一化，可以确保测试集在训练过程中保持独立。
数据清洗技术有哪些？一文带你拆解数据清洗技术!
最新发布
oOBubbleX的博客
06-20 820
数据清洗是企业数据治理的关键环节，旨在处理原始数据中的缺失值、重复记录、异常值等问题，提高数据质量和一致性。常见技术包括：缺失值填充/删除、重复值识别、异常值处理、数据标准化和分类数据编码。实现工具涵盖Python/R编程语言、SQL数据库管理系统以及FineDataLink等可视化工具。数据清洗面临规模大、来源多、实时性要求高等挑战，需注意操作可逆性和方法适配性。随着数据驱动决策的重要性提升，智能化数据清洗技术将成为企业释放数据价值的基础支撑。
深度学爬坑记录 -- 在划分数据集之前还是之后标准化数据
【更新于公众号 | 简谱学记】
06-13 3897
通过这种方式，我们可以测试和评估我们的模型是否能够很好地推广到新的、看不见的数据点。为什么要进行归一化？因为它解决了梯度爆炸和各种特性之间的比例差异等问题。这取决于你的数据是否有标签，或者说是否存在多个观测数据。你将把未来的信息引入训练解释变量(即均值和方差)。对于数据变量的特征标准化(或数据标准化)是一种通过。如果没有标签，只有一种数据，无关紧要。对于我的数据是存在标签的，所以。如果有标签，先划分数据集！来使数据标准化的技术。
数据处理(数据集划分) 和 特征工程(标准化/归一化) 的顺序问题
wanjiayin777的博客
04-07 1142
在机器学习中，标准化（Standardization）或归一化（Normalization）的正确顺序是：先划分训练集和测试集，再对训练集进行标准化/归一化，并将相同的参数应用于测试集。这是为了避免数据泄漏（Data Leakage），即测试集的信息“污染”训练过程，导致模型评估结果不真实。
为什么先划分训练集和测试集后归一化？
To be a better man
06-26 5690
先对数据划分训练集和测试集后归一化和对数据归一化后划分测试集和训练集，两者的区别： 理论上还是应该先划分数据集，然后对训练数据做预处理，并且保存预处理的参数，在用同样的参数处理测试集。 因为划分训练集和测试集就是假设只知道训练集的信息，而认为测试集数据是来自未来的，不可得知。如果之前统一做预处理之后再划分的话就利用了测试集的信息。...
数据标准化常见问题：对整个数据集数据标准化后再划分训练集、测试集和先对训练级标准化再将规则用于测试集有什么区别（Python实现）
热门推荐
qq_40304090的博客
05-27 2万+
在数据分析与挖掘、算法建模的都会用到数据标准化。数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。 但是经常会遇到一个问题： 方式一：先对整个数据集数据标准化后再划分训练集、测试集 ...
【数据处理与操作】数据变换与函数：数据标准化和归一化的应用
![MATLAB数据分析工具箱的功能与应用]...在当今数字化时代，数据处理与操作已经成为信息技术领域中不可或缺的一部分。随着数据量的激增，企业和研究机构对于数据的管理和利用提出了更高的要求。数据
【预处理关键步骤】：数据标准化与归一化的全面解析
数据预处理是在数据分析前对原始数据进行清洗、转换和格式化的过程。其目的是为了提高数据质量，从而使得后续的分析和模型训练更加准确和高效。 在这一过程中，数据可能来自不同的渠道，包含不同的特征和数据类型，...
机器学习——数据清洗（缺失值处理、异常值处理、数据标准化）
ZhShy
03-18 895
在数据处理与分析流程中，数据清洗占据着极为关键的地位。原始数据往往充斥着各种问题，如缺失值、异常值，且数据的尺度和分布也可能存在差异，这些问题会严重影响后续数据分析和机器学习模型的准确性与性能。因此，有效的数据清洗操作必不可少，它能够提升数据质量，为挖掘数据价值奠定坚实基础。接下来，我们将深入探讨数据清洗中的缺失值处理、异常值处理以及数据标准化这三个重要方面。
机器学习python实践——关于数据集划分和数据标准化的相关问题的思考
SZX0311的博客
06-21 1612
对训练集和测试集进行fit和transform，最后训练集的数据X1(0,1)就变成了X1'(0,0)，测试集中的数据X2(0,2)变成了X2'(0,0)，数据集的形态就被改变了，这时利用变换后的训练集数据X1'(0,0)算出的模型还是那个模型，但是我们再将变换后的测试集数据X2'(0,0)带入到模型中，模型告诉我们X2和X1重合，对比原始数据，不难发现，模型预测结果错误。因此，如果小明在搭建题库之前，把训练集和测试集分开，让题库中仅含有学生做过的题目，那么3号的试卷就可以真正的掌握学生的学习情况。
数据分析的步骤-数据的清洗、特征选择
weixin_36564614的博客
07-30 715
数据导入后对数据进行数据的分析和整理工作。好的数据清洗可以让未来的工作简单有效，对于未来的模型而言数据本身的质量决定了结果的上限，模型的选择和调优是不断趋近于这个上线的手段。 对于数据清洗而言首先应该对数据进行了解，了解数据的来源，通过来源可以对数据进行清洗和整理工作， 例如性别等字段可以将文字转化成向量等形式，同时可以对数据的空值等进行统计，根据数据的真实情况决定是否可以进行填补操作。 有的字段例如身高等字段需要通过分桶的技术将其进行类似降维处理。 时间字段根据...
图解数据分析(5) | 核心步骤2 - 数据清洗与预处理（数据科学家入门·完结）
ShowMeAI研究中心
02-28 1万+
数据分析分核心步骤分为：业务认知与数据探索、数据预处理、业务认知与数据探索等三个核心步骤。本文介绍第二个步骤：数据预处理，包括数据调整（量纲、数据标准化）、数据异常值检测与分析、缺失值的处理等。......
深度学习-标准化、归一化以及数据处理
ssshyeong的博客
09-25 3689
标准化、归一化以及数据处理1.标准化和归一化1.1.什么是数据归一化1.2.归一化和标准化的区别1.3.为什么要进行数据的归一化2.数据预处理中的归一化2.1.训练集、测试集和验证集如何进行归一化2.2.常用的归一化手段Zero-mean normalization均值方差归一化Min-max normalizationNon-linear normaliztionsLength-one normalization 1.标准化和归一化 1.1.什么是数据归一化 归一化（标准化）可以定义为：归一化就是要把你需
训练集和测试集的标准化中的坑！！！
weixin_41584472的博客
07-28 7594
训练集和测试集的标准化中的坑！！！
Day 1 - 基本语法
qq_41175455的博客
09-22 1351
Day 1 1.基本语法 一、语句 （1条有效程序） print('你好！') print('世界！') # 一行有多条语句，要用分号隔开 print('你好！');print('世界！') 二、注释 注释是代码中不参与编译执行的说明性文字（不影响程序功能） # 单行注释————Ctrl+/ print('hello world!') # 在控制台打印hello world! # 多行注释————将文字放入一对'''或"""之间 """ 注释1 注释2 注释3 """ ''' A B
标准化，归一化与训练-测试集数据处理
林源的博客
02-20 1万+
标准化，归一化与训练-测试集数据处理1. 标准化，归一化的区别数据预处理的归一化手段应该如何应用到训练集，测试集和验证集中？问题：回答1：回答2问题3回答1回答2问题4回答1 1. 标准化，归一化的区别 作者：宝珠道人 链接：https://www.zhihu.com/question/361290840/answer/939504181 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。个人有删改 归一化和标准化本质上都是一种线性变换。线性变换保持线性组合与线性关系式不变，这
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值