Sklearn数据预处理：scale, StandardScaler, MinMaxScaler, Normalizer

最新推荐文章于 2025-10-11 11:54:07 发布

原创最新推荐文章于 2025-10-11 11:54:07 发布 · 2.1w 阅读

64 ·

CC 4.0 BY-SA版权

文章标签：

#sklearn-教程 #python

机器学习专栏收录该内容

10 篇文章

订阅专栏

本文介绍了Sklearn库中数据预处理的三个关键步骤：一、标准化，通过(X-X_mean)/std进行处理，使得数据集中在0附近，方差为1；二、缩放到指定范围，如1-0之间，增强数据稳定性；三、正则化，计算p-范数并除以其值，使样本的p-范数等于1。涉及的工具有StandardScaler, MinMaxScaler和Normalizer。" 51434365,5636344,Hive中的Lateral View详解,"['大数据开发', 'Hive', '数据处理']

一、标准化

去除均值和方差缩放：通过(X-X_mean)/std计算每个属性(每列)，进而使所有数据聚集在0附近，方差为1.

(1)、sklearn.preprocessing.scale()
直接将给定数据进行标准化

from sklearn import preprocessing
import numpy as np
X = np.array([[ 1., -1.,  2.],[ 2.,  0.,  0.],[ 0.,  1., -1.]])
X_scaled = preprocessing.scale(X)

array([[ 0.        , -1.22474487,  1.33630621],
       [ 1.22474487,  0.        , -0.26726124],
       [-1.22474487,  1.22474487, -1.06904497]])

X_scaled.mean(axis=0)
array([ 0.,  0.,  0.])

X_scaled.std(axis=0)
array([ 1.,  1.,  1.])

(2)、sklearn.preprocessing.StandardScaler()
可保存训练集中的均值、方差参数，然后直接用于转换测试集数据。

scaler = preprocessing.StandardScaler().fit(X)
scaler.transform(X)

array([[ 0.        , -1.22474487,  1.33630621],
       [ 1.22474487,  0.        , -0.26726124],
       [-1.22474487,  1.22474487, -1.06904497]])

scaler.mean_
array([ 1.        ,  0.        ,  0.33333333])

scaler.var_
array([ 0.66666667,  0.66666667,  1.55555556])

二、缩放到指定范围

将属性缩放到一个指定的最大和最小值（通常是1-0）之间，这样处理可对方差非常小的属性增强其稳定性，也可维持稀疏矩阵中为0的条目。
preprocessing.MinMaxScaler(feature_range=(0, 1), copy=True)
计算公式：
X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))
X_scaled = X_std * (max - min) + min
其中
feature_range : tuple (min, max), default=(0, 1)

minmaxscaler = preprocessing.MinMaxScaler().fit(X)
minmaxscaler.transform(X)

array([[ 0.5       ,  0.        ,  1.        ],
       [ 1.        ,  0.5       ,  0.33333333],
       [ 0.        ,  1.        ,  0.        ]])

minmaxscaler.scale_
array([ 0.5       ,  0.5       ,  0.33333333])

 minmaxscaler.min_ 
 array([ 0.        ,  0.5       ,  0.33333333])

也可直接应用fit_transform(X)实现fit和transform功能。

三、正则化

对每个样本计算其p-范数，再对每个元素除以该范数，这使得每个处理后样本的p-范数（l1-norm,l2-norm）等于1。如果后续要使用二次型等方法计算两个样本之间的相似性会有用。
preprocessing.Normalizer(norm=’l2’, copy=True)

normalizer = preprocessing.Normalizer().fit(X)
normalizer.transform(X)

array([[ 0.40824829, -0.40824829,  0.81649658],
       [ 1.        ,  0.        ,  0.        ],
       [ 0.        ,  0.70710678, -0.70710678]])

几个概念

1-范数：向量各分量绝对值之和
2-范数：向量长度
最大范数：向量各分量绝对值的最大值
p-范数的计算公式：||X||p=(|x1|^p+|x2|^p+…+|xn|^p)^1/p