Sklearn-scaler对比

最新推荐文章于 2025-05-13 19:15:46 发布
翻译 最新推荐文章于 2025-05-13 19:15:46 发布 · 2.2k 阅读 · 5

本文探讨了Scikit-learn库中几种数据预处理方法的对比，包括StandardScaler、MinMaxScaler、MaxAbsScaler、RobustScaler、PowerTransformer、QuantileTransformer及其在处理异常值时的表现。StandardScaler和MinMaxScaler对异常值敏感，可能导致数据范围缩小。MaxAbsScaler将数据压缩至[-1, 1]，而RobustScaler则具备异常值抵抗能力。QuantileTransformer提供均匀或高斯分布的输出，Normalizer则用于将特征向量归一化。" 128145380,13867549,Spring Boot整合FastDFS实现文件上传,"['spring boot', 'java', '文件上传', '分布式存储', 'FastDFS']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原始数据分布：
在这里插入图片描述

  • StandardScaler:通过减去均值，除以标准差。异常数据对均值和方差的影响很大，会导致特征数据范围缩小 z=(x−u)sz = \frac{(x - u)}{ s}z=s(x−u)​

在这里插入图片描述

  • MinMaxScaler将所有数据归一化到[0,1]区间内，但是由于异常值的影响，特征数据的分布范围变得很窄。与standardscalar一样，对异常值铭感Xstd=(X−X.min)(X.max(axis=0)−X.min(axis=0))X_{std} = \frac{(X - X.min)} {(X.max(axis=0) - X.min(axis=0))}Xstd​=(X.max(axis=0)−X.min(axis=0))(X−X.min)​Xscaled=Xstd∗(max−min)+minX_{scaled} = X_{std} * (max - min) + minXscaled​=Xstd​∗(max−min)+min

在这里插入图片描述

MaxAbsScaler，将数据压缩到了[-1,1]区间内，对异常值敏感X=X∣X∣.maxX=\frac{X}{|X|.max}X=∣X∣.maxX​

在这里插入图片描述

RobustScaler和前面三个方法不同，对异常值不敏感$$$$

在这里插入图片描述

PowerTransformer$$$$
在这里插入图片描述

在这里插入图片描述

QuantileTransformer (Gaussian output)$$$$
在这里插入图片描述

QuantileTransformer (uniform output)
在这里插入图片描述

Normalizer

在这里插入图片描述

scikit-learn中的Scaler
weixin_51711289的博客
06-13 217
scikit-learn中的归一化
【机器学习】数据预处理之scikit-learn的Scaler与自定义Scaler类进行数据归一化
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
02-09 1521
本文主要介绍了scikit-learn中Scaler的使用方法，特别强调了数据归一化在机器学习过程中的重要性。讲述了归一化算法在训练模型前对训练数据集的处理，以及预测时对测试数据集的正确归一化方式。强调了保存训练数据集得到的均值和方差的重要性，并介绍了scalar类在数据处理中的封装理念和过程。最后通过实际代码示例，演示了如何使用standard scalar对数据进行归一化处理，并进行了knn分类实验，展示了归一化处理对提高模型预测准确度的重要性。
sklearn_scaler
纸上得来终觉浅，绝知此事要躬行！
11-18 1319
文章目录sklearn_scalerrefnote1. scale 和 StandardScaler sklearn_scaler sklearn 缩放 from sklearn.preprocessing import scale from sklearn.preprocessing import StandardScaler ref ref1：关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化 代码demo和原理说明 ref2：真的明白sklearn.preprocessing
三种数据标准化方法的对比：StandardScaler、MinMaxScaler、RobustScaler
最新发布
swilder__218的博客
05-13 1038
在数据预处理中，标准化是常见的步骤，常用的方法包括StandardScaler、MinMaxScaler和RobustScaler。StandardScaler通过减去均值并除以标准差进行标准化，适用于正态分布数据，但对异常值敏感。MinMaxScaler将数据缩放到固定范围（如[0,1]），适用于需要固定范围的场景，但对异常值同样敏感。RobustScaler基于中位数和四分位距进行标准化，对异常值不敏感，适用于非正态分布或含异常值的数据。选择标准化方法时，需根据数据特性和模型需求进行权衡：正态分布且无异
[云炬python3玩转机器学习]sklearn中的Scaler
科大云炬
01-16 518
08 Scikit-learn中的Scaler import numpy as np from sklearn import datasets import datetime print(datetime.datetime.now()) 2022-01-16 23:05:58.735705 iris = datasets.load_iris() X = iris.data y = iris.target X[:10,:] array([[5.1, 3.5, 1.4, ...
07-scikit-learn中的Scaler
qq_41033011的博客
10-10 774
scikit-learn中的Scaler   在上一篇博客中介绍了将数据归一化的两种方式，最值归一化和均值方差归一化。但是具体的将这种归一化的方式用在我们的机器学习过程中的时候，有一个很重要的注意事项。   对于我们的原始数据集，我们将其划分为训练数据集和测试数据集。如果我们要使用归一化的数据来训练我们的模型的话，显然我们需要对训练数据集进行归一化处理。比如说，我们使用均值方差归一化的处理方式，相应的我们需要求出训练数据集的均值（mean_train）以及训练数据集的方差（std_train）。当我们归一化
笔记——数据归一化 scikit-learn中的Scaler
chairon的博客
07-09 854
数据归一化 除了·边界比较明显的数据集（像素），一般用均值方差归一化。 测试数据集要用训练集的平均数和标准差进行归一化 import numpy as np import matplotlib.pyplot as plt 最值归一化 normalization x=np.random.randint(0,100,100) x array([84, 5, 7, 97, 16, 15, 64, 71, 55, 58, 12, 0, 73, 41, 27, 92, 97, 21,
菜菜的机器学习sklearn实战-----sklearn中数据预处理和特征工程
Avery123123的博客
03-28 3469
菜菜的机器学习sklearn实战-----sklearn中数据预处理和特征工程 菜菜的机器学习sklearn实战-----sklearn中数据预处理和特征工程概述数据预处理与特征工程sklearn中的数据预处理和特征工程数据预处理 preprocessing&Impute数据无量钢化preprocessing.MinMaxScaler缺失值处理分类型特征：编码与哑变量处理连续型特征：二值化...
数据分析技术---对比K-means,密度分析和层次聚类性能
qq_60872637的博客
05-30 591
在Iris数据集上，它能够清晰地划分出三个簇，并且对于噪声数据有较好的处理能力。缺点在于对初始质心敏感，可能陷入局部最优解，且对于非凸形或噪声较大的数据集可能表现不佳。缺点在于计算复杂度高，对于大规模数据集可能不适用，且在选择聚类数时需要人工干预。k-means：在Iris数据集上，k-means能够快速地将样本分为三类，但由于其基于距离的聚类方式，对于非凸形或噪声较大的数据集可能表现不佳。层次聚类：层次聚类能够产生层次化的聚类结果，但在选择聚类数时需要人工干预。
scikit-learn（sklearn）
Rhett_Butler0922的博客
04-25 719
工具/模型初始化拟合转换/预测评估特殊属性fit(X)无mean_var_PCAfit(X)无fit(X, y)predict(X)coef_intercept_fit(X, y)predict(X)KMeansfit(X)predict(X)无Pipelinefit(X, y)predict(X)无fit(X, y)predict(X)相同点所有工具/模型都通过类初始化。fit用于学习数据特性（监督学习需提供ytransform（预处理/特征提取）或。
机器学习：房价预测 sk-learn各回归器对比
m0_56970979的博客
04-26 307
【代码】机器学习：房价预测 sk-learn各回归器对比。
08-scikit-learn中的Scaler（归一化问题）
Bonjour_h的博客
03-17 392
对测试数据集如何归一化？ 测试数据是模拟真实环境，真实环境有可能无法得到所有测试 对数据的归一化也是算法的一部分 (x_test - mean_train) / std_train 要保存训练数据集得到的均值和方差 import numpy as np from sklearn import datasets iris = datasets.load_iris()//加载鸢尾花数据集 X = iris.data y = iris.target X[:10,:] 运行结果：array([[5.1, 3.
sklearn数据预处理－scale
weixin_30236595的博客
01-15 1262
对数据按列属性进行scale处理后，每列的数据均值变成0，标准差变为1。可通过下面的例子加深理解： from sklearn import preprocessing import numpy as np 测试数据： X = np.array([[1., -1., 2.], [2., 0., 0.], [0., 1., -1.]]) 使用sklearn进行scale处理时...
机器学习中的数据预处理（sklearn preprocessing）
热门推荐
csmqq的专栏
05-20 7万+
Standardization即标准化，尽量将数据转化为均值为零，方差为一的数据，形如标准正态分布（高斯分布）。实际中我们会忽略数据的分布情况，仅仅是通过改变均值来集中数据，然后将非连续特征除以他们的标准差。sklearn中 scale函数提供了简单快速的singlearray-like数据集操作。 一、标准化，均值去除和按方差比例缩放（Standardization, or mean remo
sklearn学习
jenny88889999的博客
11-21 2731
介绍：scaler：换算的意思。
缩放有离群值的数据 sklearn.preprocessing.RobustScaler
weixin_41798592的博客
09-24 2296
sklearn.preprocessing.RobustScaler缩放有离群值的数据 sklearn.preprocessing.RobustScaler(with_centering=True, with_scaling=True, quantile_range=(25.0, 75.0), copy=True) 使用具有鲁棒性的统计量缩放带有异常值（离群值）的数据 该缩放器删除中位数，并根据百...
scikit-learn中拟合结果的评价指标
lipe12的专栏
04-20 3万+
在sklearn中包含四种评价尺度，分别为mean_squared_error、mean_absolute_error、explained_variance_score 和 r2_score。均方差（mean-squared-error）平均绝对值误差（mean_absolute_error）可释方差得分（explained_variance_score）中值绝对误差（Median absolute
Sklearn之数据预处理——StandardScaler
黄佳俊的博客
12-02 8789
StandardScaler原理 作用：去均值和方差归一化。且是针对每一个特征维度来做的，而不是针对样本。 标准差标准化（standardScale）使得经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为： 其中μ为所有样本数据的均值，σ为所有样本数据的标准差。 使用sklearn提供的StandardScaler方法 from sklearn.preprocessing import StandardScaler # 标准化工具 impor...
Sklearn之StandardScaler（数据预处理）
qidexiaoshijie的博客
03-23 1091
因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、RF、XGboost。而像Adaboost、SVM、LR、Knn、KMeans之类的最优化问题就需要归一化。作用：使得经过处理的数据符合标准正态分布，即均值为0，标准差为1。1.哪些机器学习算法不需要(需要)做归一化?x*=x-所有样本的均值μ/所有样本的标准差。2.StandardScaler原理。
pytorch和sklearn区别
03-23
不过用户可能已经知道这一点，但需要更详细的对比。 我应该从设计目标开始分析。PyTorch专注于深度学习，提供张量计算和自动微分，适合构建神经网络，尤其是动态计算图，这对研究人员来说很灵活。而Scikit-learn则...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值