数据预处理（归一化和标准化）

什么是特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

1.主要包含：

数值型数据的无量纲化

+归一化：通过对原始数据进行变换把数据映射到[mi,mx]之间

如对于以上数据，映射到[0,1],对于第一列，最大值是90，最小值是60，即X'=（90-60）/90-60=1，X''=1*（1-0）+0=1

如果有异常值（通常是最大值或者最小值），归一化将被严重影响。

+标准化：对原始数据进行变换到均值为0，标准差为1范围内

 

2.特征预处理API

为什么要进行归一化和标准化？

===答：特征的单位或者大小相差较大，或者某特征的方差相比其他特征要大出几个数量级，容易影响目标结果，使得机器学习算法无法学习到其他特征

如上图所示数据，里程数和公升数两个特征数值相差过大，在使用KNN时就会主要受里程数影响，公升数不起作用。

归一化API

 

练习：将约会数据归一化到[2,3]区间

数据见：https://pan.baidu.com/s/1qiWJkSRCS-yRx0g7VJcL9w
提取码：659r

 

from sklearn.preprocessing import MinMaxScaler
import pandas as  pd
def minmax_demo():    #分类特征提取
    #1.读取数据
    data = pd.read_csv('date.txt',delimiter='\t')
    print("data:\n",data)
    data = data.iloc[:,:3]
    print('data:\n',data)
    #2.实例化一个转换器
    transfer = MinMaxScaler(feature_range=[2,3])
    #3.调用fit_transform
    data_new = transfer.fit_transform(data)
    print('data_new:\n',data_new)
    return None
if __name__ == "__main__":
    minmax_demo()

标准化API

from sklearn.preprocessing import StandardScaler
import pandas as  pd
def stand_demo():    #分类特征提取
    #1.读取数据
    data = pd.read_csv('date.txt',delimiter='\t')
    print("data:\n",data)
    data = data.iloc[:,:3]
    print('data:\n',data)
    #2.实例化一个转换器
    transfer = StandardScaler()
    #3.调用fit_transform
    data_new = transfer.fit_transform(data)
    print('data_new:\n',data_new)
    return None
if __name__ == "__main__":
    stand_demo()