特征工程-数据归一化和标准化

最新推荐文章于 2024-07-03 18:16:51 发布
原创 最新推荐文章于 2024-07-03 18:16:51 发布 · 840 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#归一化 #标准化

本文介绍了数据预处理中的两种常见方法：归一化和标准化。归一化将数据缩放到固定范围，适用于需要限定输出范围的情况；标准化则通过中心化处理使数据符合标准正态分布，适合数据存在异常值的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

定义

归一化：

Xi−XminXmax−XminXi−XminXmax−Xmin

标准化：
Xi−μσXi−μσ

其中 μμ 和 σσ 代表样本的均值和标准差， XmaxXmax为最大值， XminXmin为最小值。
本质

归一化和标准化的本质是线性变换。
线性变换有很多良好的性质，这些性质决定了为什么对数据进行改变后竟然不会造成“失效”，反而还能提高数据的表现。

两者区别

归一化的缩放是“拍扁”统一到区间（仅由极值决定），而标准化的缩放是更加“弹性”和“动态”的，和整体样本的分布有很大的关系。

  • 归一化：缩放仅仅跟最大、最小值的差别有关。
  • 标准化：缩放和每个点都有关系，通过方差（variance）体现出来。与归一化对比，标准化中所有数据点都有贡献（通过均值和标准差造成影响）。
  • 归一化： 输出范围在0-1之间
  • 标准化：输出范围是负无穷到正无穷
应用场景

对输出结果范围有要求，用归一化
数据较为稳定，不存在极端的最大最小值，用归一化
（如果样本中具有不同量纲的指标，最好进行归一化）
数据存在异常值和较多噪音，用标准化，可以间接通过中心化避免异常值和极端值的影响

Sklearn标准化和归一化方法汇总(1)：标准化 / 标准差归一化 / Z-Score归一化
Laurence的技术博客
01-17 5620
标准化 / 标准差归一化 / Z-Score归一化的算法是：先求出数据集（通常是一列数据）的均值和标准差，然后所有元素先减去均值，再除以标准差，结果就是归一化后的数据了。经标准差归一化后，数据集整体将会平移到以0点中心的位置上，同时会被缩放到标准差为1的区间内。要注意的是数据集的标准差变为1，并不意味着所有的数据都会被缩放到[-1,1]之间，下文有示例为证。
Sklearn标准化和归一化方法汇总(2)：Min-Max归一化
Laurence的技术博客
01-17 5726
Min-Max归一化的算法是：先找出数据集通常是一列数据）的最大值和最小值，然后所有元素先减去最小值，再除以最大值和最小值的差，结果就是归一化后的数据了。经Min-Max归一化后，数据集整体将会平移到[0,1]的区间内，数据分布不变。
特征工程——数据的标准化（Z-Score,Maxmin,MaxAbs,RobustScaler,Normalizer）
PresleyR的博客
01-31 3552
数据标准化是一个常用的数据预处理操作，目的是处理不同规模和量纲的数据，使其缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响。 比如线性回归模型、逻辑回归模型或包含矩阵的模型，它们会受到输入尺度(量纲)的影响。相反，那些基于树的模型则根本不在乎输入尺度(量纲)有多大。如果模型对输入特征的尺度(量纲)很敏感，就需要进行特征缩放。顾名思义，特征缩放会改变特征的尺度，有些人将其称为...
python数据预处理 ：数据标准化
热门推荐
泛泛之素
11-25 3万+
何为标准化： 在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数...
特征工程之归一化
咔咔响
08-08 874
1.归一化是将有量纲的表达式，经过线性变换，化为无量纲的表达式2.目的是为了消除指标之间量纲的影响，以解决数据指标之间的可比性3.归一化能提高梯度下降最优求解速度，还有可能提高精度4.归...
特征工程-特征归一化
止鱼
03-04 1161
1、场景描述： 为了消除数据特征之间的量纲影响，需要对特征进行归一化（Normalization）处理，使得不同特征处于同一个数量级，具有可比性 2、常用的归一化方法 2.1、线性函数归一化（Min-Max Scaling） 对原始数据进行线性变换，使结果映射到 [0,1] 的范围内，实现对原始数据的等比缩放。 归一化公式： 其中，X为原始数据，min和max分别代表数据的最大最小值 2.2、零...
机器学习特征工程--标准化和归一化
nono的博客
03-02 4555
关于归一化和标准化 1.标准化使用条件 （1）不需要对特征进行归一化：基于树模型的方法 举例： 随机森林/bagging/boosting/xgboost 需要标准化的（基于距离的模型）：回归分析（逻辑回归）/神经网络 / svm 2.相关定义 什么叫归一化（标准化）：归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。 为什么要归一化（标准化）： ...
Python特征工程 — 1.4 特征归一化方法详解
几度春风里的博客
07-03 2222
参考文章1.2节（
数据预处理和特征工程1--无量纲化：数据归一化、标准化
Sun123234的博客
10-27 1172
数据预处理和特征工程1--无量纲化：数据归一化、标准化
特征工程之数据标准化
qq_57082933的博客
11-16 737
每天进步一点点——数据标准化
特征工程 1：归一化和标准化
Growth Diary
06-27 1684
归一化（1）什么是归一化？通俗理解，就是对原始数据进行线性变换把数据映射到[0, 1]区间。具有的特点：1、对不同特征维度进行伸缩变换 2、改变原始数据的分布。使各个特征维度对目标函数的影响权重是一致的（即使得那些扁平分布的数据伸缩变换成类圆形） 3、对目标函数的影响体现在数值上 。4、把有量纲表达式变为无量纲表达式 。（2）归一化有什么好处？A、使数据处理更加便捷、快速。B、把有量纲的数据变换为...
***特征工程（三） 数据标准化和归一化
u014765410的博客
03-10 197
参考博文：特征工程（三） 数据标准化和归一化
机器学习--特征工程1--标准化
大魔王
11-13 1194
  sklearn.preprocessing https://scikit-learn.org/stable/modules/preprocessing.html 结合sklearn来学习一下数据的预处理过程： 安装  pip install -U scikit-learn sklearn源码位置： C:\Users\chen\AppData\Local\Programs\Pytho...
特征工程：数据归一化和标准化！
fengdu78的博客
10-05 345
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~今天给大家分享的是关于特征工程的文章：数据的归一化和标准化。数据的归一化和标准化都是对数据做变换，指通过某种处理方法将待处理的数据限制在一定的范围内或者符合某种分布。它们都是属于特征工程中的特征缩放过程。特征缩放的目的是使得所有特征都在相似的范围内，因此在建模的时候每个特征都会变得相同重要。一般在建模的过程中，大多数模型对数据...
特征工程：归一化与标准化
强劲九
02-01 3659
归一化（Normalization）方法泛指把数据特征转换为相同尺度的方法
特征工程
Rock在学习的博客
11-04 291
特征工程，本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。量纲，就是单位，特征的单位不一致，就不能放在一起比较。也叫哑变量和离散特征编码，可用来表示分类变量、非数量因素可能产生的影响。
特征工程（特征表示、标准化、维度灾难）
十里清风
04-29 538
文章目录标准化特征分布式表示维度灾难 标准化 对于多参学习，特征缩放可保证参数在更新时以最快速度朝等高线圆心（最优值）移动. X=(x1,⋯ ,xN),xi=(xi1,⋯ ,xim) X = (\pmb x_1, \cdots, \pmb x_N),\quad \pmb x_i = (x_i^1, \cdots, x_i^m) X=(xxx1​,⋯,xxxN​),xxxi​=(xi1​,⋯,xim...
特征工程之特征预处理(归一化与标准化)
weixin_45637439的博客
08-18 389
特征预处理 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程 包含内容 数值型数据的无量纲化 归一化 标准化 特征预处理API sklearn.preprocessing 为什么进行无量纲化： 特征单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响目标结果，使得一些算法无法学习到其他特征 归一化 1. 定义 将原始数据进行变换把数据映射到(默认为0-1)之间 2. 公式 X1=(x−min)/(max−min),X2=X1∗(mx−mi)+mi
数据归一化和标准化
最新发布
04-24
<think>好的，用户现在想了解如何对天线数据集进行归一化和标准化处理，以便转换为适合训练的CSV格式。我需要结合之前的对话内容来给出合适的回答。首先，回顾一下用户之前的问题，他们需要将天线数据的前四列作为结构参数，后200列为不同频点的S11值，转换为CSV格式。现在用户进一步询问数据预处理中的归一化和标准化步骤。 首先，我需要确定用户的数据结构。之前的回答中提到前四列是结构参数（比如L, W, H, d），后面的列是S11参数值。现在用户需要进行归一化和标准化处理，可能需要区分对待结构参数和S11值，因为它们的量纲可能不同。例如，结构参数可能是毫米或厘米，而S11是分贝或其他单位。所以，可能需要不同的处理方式。 接下来，用户需要了解归一化和标准化的区别。归一化通常指将数据缩放到[0,1]区间，而标准化则是将数据调整为均值为0，标准差为1。这两种方法的应用场景不同，归一化对异常值敏感，标准化更适合大多数机器学习算法，尤其是涉及距离计算的模型。 然后，我需要考虑如何在实际操作中应用这些方法。使用Python的pandas和scikit-learn库是比较常见的做法。可能需要分别对结构参数和S11参数进行处理，或者统一处理所有特征。需要给出代码示例，比如使用MinMaxScaler和StandardScaler，并解释每个步骤的作用。 另外，用户可能想知道在什么时候进行这些预处理步骤。是在数据合并到CSV之前还是之后？根据之前的回答，数据转换是在合并到CSV时进行的，所以预处理应该在合并后的数据集上进行。但如果是多个文件合并，可能需要先合并再处理，或者逐个处理后再合并。需要明确步骤顺序。 还需要注意，归一化和标准化后的数据需要保存到CSV中，以便后续训练使用。要提醒用户保存时不要包含索引，并验证处理后的数据范围是否符合预期，比如归一化后的数据是否在0-1之间，标准化后的均值和标准差是否正确。 可能用户还会关心是否需要区分训练集和测试集，在预处理时是否需要分开处理。但根据当前问题，用户可能只是需要整体的处理步骤，所以暂时可以假设整个数据集的处理，后续再考虑训练测试分割时的注意事项。 最后，根据用户之前的引用，比如引用[2]中提到线性方法的局限性，可能需要提到数据预处理如何帮助模型更好地捕捉非线性结构，但这点可能稍微超出当前问题的范围，可以简要提及或留到相关问题中。 总结步骤应该是：加载数据，区分结构参数和S11参数，选择归一化或标准化的方法，应用处理，合并数据，保存为CSV。同时需要给出代码示例，并解释关键点，如列的选择、处理顺序、验证方法等。</think>以下是对天线数据集进行归一化/标准化处理的完整解决方案，结合工程实践和机器学习预处理要求： ### 一、数据处理流程设计 1. **参数类型区分处理** - 结构参数（前4列）：建议采用标准化（Z-score），消除不同物理量纲的影响 $$ x' = \frac{x - \mu}{\sigma} $$ - S11参数（后200列）：推荐Min-Max归一化，保留频响曲线形态特征 $$ x_{norm} = \frac{x - x_{min}}{x_{max} - x_{min}} $$ 2. **处理顺序**（基于前次转换结果） 原始数据 → 格式转换（上次处理） → 特征工程 → 归一化 → 训练用CSV[^1] ### 二、Python实现代码 ```python import pandas as pd from sklearn.preprocessing import StandardScaler, MinMaxScaler # 读取已转换的CSV df = pd.read_csv('antenna_dataset.csv') # 分离特征类型 structural_params = df.iloc[:, :4] # 前4列结构参数 s11_features = df.iloc[:, 4:] # 后200列S11参数 # 创建预处理管道 structural_scaler = StandardScaler() s11_scaler = MinMaxScaler(feature_range=(0, 1)) # 执行预处理 structural_processed = structural_scaler.fit_transform(structural_params) s11_processed = s11_scaler.fit_transform(s11_features) # 合并数据集 processed_data = pd.DataFrame( data=np.hstack([structural_processed, s11_processed]), columns=df.columns ) # 保存处理结果（添加预处理标记） processed_data.to_csv('antenna_dataset_normalized.csv', index=False) ``` ### 三、关键参数验证 1. **标准化验证** ```python assert np.allclose(structural_processed.mean(axis=0), 0, atol=1e-5) assert np.allclose(structural_processed.std(axis=0), 1, atol=1e-5) ``` 2. **归一化验证** ```python print(f"S11值域验证: Min={s11_processed.min():.2f}, Max={s11_processed.max():.2f}") # 应输出: Min=0.00, Max=1.00 ``` ### 四、工程实践建议 1. **参数保存** - 将scaler对象通过joblib保存，确保推理阶段使用相同参数 ```python from joblib import dump dump(structural_scaler, 'structural_scaler.joblib') dump(s11_scaler, 's11_scaler.joblib') ``` 2. **混合处理方法** 当存在多个物理量纲时，可对每个结构参数单独标准化： ```python for param in ['L', 'W', 'H', 'd']: scaler = StandardScaler() df[param] = scaler.fit_transform(df[[param]]) ``` ### 五、可视化验证（可选） 绘制处理前后参数分布对比： ```python import matplotlib.pyplot as plt plt.figure(figsize=(10,4)) plt.subplot(121) plt.hist(structural_params['L'], bins=30) plt.title('原始结构参数分布') plt.subplot(122) plt.hist(structural_processed[:,0], bins=30) plt.title('标准化后分布') plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值