特征处理：归一化和标准化的区别及使用

原创

于 2021-07-21 10:09:37 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了数据归一化和标准化的定义、计算方法，展示了Python代码实现，并对比了两者在处理数据时的优缺点。特别关注了归一化对异常值的敏感性和标准化在大数据场景的应用.

归一化

定义

把原始的特征数据映射到[0,1]范围内。这个[0,1]范围是默认的，可以手动指定。

计算公式

x’ = (x - min) / (max - min)
x’’ = x’ * (mx - mi) + mi
需要注意的是：x’’ 才是最终的计算结果。
其中：x表示当前值，min表示每一列特征的最小值，max表示每一列特征的最大值；
mx表示[0,1]这个指定范围内的最大值，mi表示[0,1]这个指定范围内的最小值。

代码实现

from sklearn.preprocessing import MinMaxScaler


def minMax():
    """
    归一化：把原始数据映射到[0,1]之间，这个[0,1]的范围是默认的，可以手动指定。
    公式：x‘ = (x - min) / (max - min)     x'' = x' * (mx - mi) + mi
    :return:None
    """
    mm