风火编程--机器学习之标准化和归一化

标准化和归一化

标准化

描述
把数据缩放到指定的范围之内.

接口

from sklearn.preprocessing.scale
X = scale(X)
# 分别处理Xtrain和X_test
from sklearn.preprocessing import MinMaxScaler
 ss = MinMaxScaler((0, 1))
ss.fit(X_train)
X_train = ss.transform(X_train)

归一化

描述
去除因子数量级差异造成的权重不均衡对结果的影响.在谁用梯度下降回归时,必须进行归一化处理.
极值归一化适用于有明显边界的数据,均值方差归一化适用于没有明显边界的数据,使均值接近0,方差接近1
对于没有明显边界的数据用极值归一化会受离群值的影响,可以先去极值.
接口

from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss.fit(X_train)
x_train = ss.transform(X_train)
# 查看均值
ss.mean_
# 查看标准差
ss.scale_
X_test = ss.transform(X_test)
#  数据探索
data.describe()
print(df.head(5))