数据预处理之数据标准化

数据标准化的意义

在对数据集建模前，常常要对数据的某一特征或几个特征进行规范化处理，其目的在于将特征值归一到同一个维度，消除比重不平衡的问题。

常用的标准化方法有 最大-最小标准化、零-均值标准化 和 小数定标标准化。

最大-最小标准化

最大-最小标准化又称为离差标准化，将原始数据进行线性变换，映射到[0,1]区间。
转换公式如下：

其中，max为特征中最大的值，min为特征中最小的值。max-min表示极差。

这种标准化的优点是实现简单、保留了原始数据之间的关系。

缺点也很明显，即：
1.当样本中的max过大时，会使得标准化后各值之间相差不大，无法准确表示样本间的差异；
2.当新加入的样本的值大于max或小于min，会使标准化产生混乱，即每当有新样本导入时，必须重新计算max和min。

零-均值标准化

零-均值标准化也称标准差标准化，经过该标准化处理后的数据的均值为0，标准差为1。转化公式如下：