特征归一化

什么是特征归一化？

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。

其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。

为什么要进行特征归一化（必要性）

• 对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。
• 从经验上说，归一化是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。

特征归一化的方法有哪些

Min-Max Scaling（数据归一化）

它对原始数据进行线性变换，使结果映射到[0,1]的范围，实现对原始数据的等比缩放，也称为离差标准化。
以下为归一化公式：

($X_{norm}$为标准化之后的值，$X$为原始数据，$X_{max}$为最大值，$X_{min}$为最小值)

Zero-Score Normalization（数据标准化）

它会将原始数据映射到均值为0、标准差为1的分布上（高斯分布/正态分布）,假设原始特征的均值为$\mu$、标准差为$\sigma$

那么归一化公式定义为：

特征归一化的好处

1）提升收敛速度
对于线性模型来说，数据归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。

2）提升模型的精度。

3）深度学习中数据归一化可以防止模型梯度爆炸。